有关房产买卖的纠纷

6月的时候，我妈把我家一栋房产证是我妈和我爸的名字的楼房（我爸已经过世）登广告转让，后来又人来商议买下，于是双方签订了一份简单的合同，有三条内容：1、卖方全家同意卖房给买方，不反悔；2、买方支付定金28000元，在6月底前支付20万；3、买方7月底前支付10万，卖方把证交给买方，所有一切换证的有关费用由买方自行负责。签字的时候，买方是由事主的哥哥代签，是哥哥的名字后面加个“代”，卖方只有我妈妈一个人的签字。因为这栋楼房原本是2层，我妈妈用2层的房产证贷款加高变成了4层半，现在房产证还押在银行，没有换成4层半的房产证，这一点我们已经和买方说清并无隐瞒，并且我们已经和银行预约做好提前还贷把证领出来到时候交给买方。后来我们咨询了有关单位，发现换证可能有些难度，就把换证的有关情况据实和他们说清楚，说了换证有困难的担心，就和他们协商是否能够终止买卖，我们把定金退还给他们，但他们拒绝接受，并且提出了要我们返还两倍的违约金。（注：到6月底的时候，他们并没有按合同支付20万）请问，在这件事情上，我该怎么办呢？