未退的6000元算什么性质？

撇开争议不说，我用60000元从大哥手里买下他名下的一套房屋，已完成钱款和房屋的交接，我当时觉得这是铁定的了，应该不会有什么变化，况且有证人在场。但万万没有想到，他居然有反悔的余地，隔了一段时间后，不和我过户了。并且在索要的情况下，自己把钱给我送来了，连同母亲一起交给了我，说“钱还给你，房子也给你，母亲由你来照顾”。就这样，连钱带房子，包括母亲的赡养照顾一并给了我，我现在了解到，这是一种附加义务或条件的赠与。其实，当初我们准备过户的，只是由于我当时的经济状况欠佳，便和他协商，稍稍往后挪一挪，本来我认为这事是改变不了的，当时要过户了也就不会成为现在的赠与了。但有6000元至今未退，当时他声称，房子里的某些物品是他买的，以前的房租是由他交的，现在都从我这房款里扣，这样一共扣走了6000元，然后说，房间里的东西你买了，房费你交的，现在房子也给你了，从此你我不存在问题了，母亲由你来管。我当然可以打官司要求法院判决对方协助我办理过户手续，但我现在想知道，他扣走的、至今未退的那6000元算是怎么回事？这是否意味着他并未完全退还买房款？也就是说，这是否意味着我有更大的胜诉机会？他说我反悔了，他拿不出任何证据，相反，他却依然有6000元没有退还，而我是有证据的！