二手房买方不想买了他想要回定金怎么办？我的两证被中介扣了不肯还怎么办？

我是卖方。买方刚给了我5W定金，隔两天就说不想买了，原因是首付凑不齐，现在中介的意思是让我们协调。我家人的意思是想继续卖给他，毕竟签了合同的，想履行合约！但买家的意思是，仅仅过了2天就告诉我他不要了，并没有耽误我卖房的事。我是否可以不给他定金？另：合同原文如下：定金人民币两万元整于甲乙双方交付房款时冲抵房款。。。。。还有一段我不太明白：如因为乙方自身原因未获得贷款或贷款额度不足，甲方同意乙方继续向其他银行申请贷款，期间产生的费用由乙方自行承担，乙方申请的银行不得超过两家。自第一次备齐资料办理银行贷款之日起超过50日未获得贷款审批，自届满之次日起5个工作日内乙方用现金形式补齐，否则视为根本违约。。。。。可现在买家根本就没有在合同约定的时间内与我一同前往贷款银行签订借款合同啊！这50日怎么界定呢？他没有在约定时间内出现，是否说明此合同已经作废？属于他毁约？可是现在中介说合同没有作废，不肯给我两证（可能买家不想买之后，和中介签订了某种利益协定，想私下继续卖。而在签订存量房屋买卖合同时，中介要求必须保管我的两证。）我现在要不回两证，就没办法给其他中介卖，而我又没有给这家中介签订独家之类的协议。我现在就想知道3个问题，1定金是否可以不给买家。2合同是否已经作废？是在买家没有与贷款银行签订借款合同的时间点就算作废？还是要等50天才算作废？3中介公司是否有权利继续扣留我的两证？何时才能给我两证？