我方通过中介公司看好一套楼房，中介与卖方说有房产证，我方就没看房产证

我方通过中介公司看好一套楼房，中介与卖方说有房产证，我方就没看房产证，待发现后卖方说过几天房产证就会下来，然后在2014年1月签订了定金合同，合同上只写了交房期限，（因为我方急需用房），但没有写登记过户期限，就只是说让我家先住着，过户登记慢慢办，后来我家不想要这个房子，卖房又跟我家签了一份协议，说在一定期限内如果还是未办理过户就又卖房来承担买房所准备的贷款利息，住了一段时间，中介催告我们说过户也下不来你们还是退房吧，但我家没退，至今我家想退房，虽然过户登记在元旦前就可以办下来，可是我家已决定退房，那定金能要回来吗？责任都归于谁？