本月16日和买方及中介签定了房地产居间协议，并收取了贰万元定金，但是现在买方以家人生病为由，拒绝和我去房交所办理产权过户手续，并要求我退还10000元定金，否则他拒绝前来中介签定合同无效的协议。并以此威胁我说我的房子一直不能再挂牌出售。请问这种情况我应该怎么处理呢？谢谢。
----------------------------------------问题补充：--------------------------------------------------
看了各位律师的回答，真的非常谢谢。可是什么叫逾期呢？合同上未注明要求买方与我们办理过户手续的日期，只注明要求我们在25天内办理好房屋的注销抵押的手续，我们在一星期内就办理好了注销抵押的手续。我已于4月28日给买方和中介发出了两份特快专递，要求买方和中介五日内前来与我办理过户手续。如果他们都不理会，我怎么样才能解除合同？是需要出书面通知吗？如果买方以未收到特快专递为由，在我单方面解除合同后，反过来告我违约，我怎么办呢？谢谢！！