卖房子，收了对方押金，但对方一直拖着不签合同，我能不把押金退还他吗 房子不卖给他了吗？

我卖房子付给我押金的是买主的姐姐，是买主委托他姐姐跟我谈的我们都口头协议好了才收的押金并写了收条，说第2天就来正式签合同可对方却一直拖着这种情况下我不想卖他房子了押金我能不能不退还呢？本来请别人写了个合同的都是按照对方要求写的我卖家却没说什么他一个人把写的临时合同拿走了，但是合同上我并没签字可他为什么却这样一直拖着。