6月份跟买家签了定金协议，买家交了5万定金，约定20个工作日内签正式的房屋买卖合同。现在已经30个工作日过去，买家还不签合同。于是让中介跟买家协商解除定金协议，我退还部分定金。现在中介说买家（是位老人）已经被气病了，不能来见我，让我把钱交给他，他再转给买家。我觉得这事有点不靠谱啊！于是要求他把我当时收5万定金时给买家打的收条要回来，另外让中介公司开个解除定金协议的证明，说明协议已经解除，我可以继续卖房，并注明退还的定金是如何处理的，比如我自己留了多少钱作为违约金，中介扣了多少钱做中介费，实际退给买家多少钱。中介公司也会给我一个收条。这样做可以吗？会留下什么隐患吗？