这笔款该退吗？

几年前，我和兄长达成房屋买卖协议并当时付清房款，由于当时经济很困难，就没有立即过户，对方答应我“你什么时候过户都行”。事后几个月，可能是由于房屋涨价，对方反悔。但房款“死”也不退。后来，我因欠别人钱，迫不得已和母亲去他家借钱，但丝毫也没有提要他返还房款，当然，他没有借。过了很长一段时间，他不知怎的，把房款给我送回来，并让我照顾赡养老母亲，母亲去世后就把房子过户更名给我。但当时他扣留了八千元，说是从现在开始，房子就给你了，以前房租是我交的，还有家里的一些用品是我买的，现在就从房款里扣，以后房费就由你来交了。这样，他把房子给了我，之后房费就一直由我来交。母亲去世后，他没有履行协议。在最近的双方互相起诉中，我起诉他履行协议卖房支付给我房款，他起诉我腾房。他在庭上承认双方达成过协议，并在退款的时候扣留了我八千元。我现在想起诉追回这八千元，但他一定会说，这八千元是我应交的房费。我倒认为，如果从逻辑上看，或者说，如果法庭进行事实推定的话，因为这套房子原本是我和母亲居住同户籍，被他私自改名，但房子依然由我和母亲居住，我和母亲也没有别的房子，一来房屋改成他的名字，自然得由他交。二来房屋既然改成他的名字了，又由母亲居住，他是为母亲交房租。我变成了只是陪伴母亲居住的一个人。这八千元证明以前房费是由我交的，既然由我交的，表明房子他确实卖给我或给我了，母亲也确实由我照顾的。法庭会根据这八千元作出这种逻辑推断吗？因为他会不承认卖给过我或无偿转让给我。大让，我现在也有录音，可以证明他确实把房子卖给过我并同时把房子“赠与”给我（条件是，照顾母亲）。假如法庭不接受这一事实推定，那么，我可以要回他扣留的那八千元吗？