今年6月初我们通过中介看中一套二手房，2房1厅，开价78万，当天我们通过中介直接去看房，并且见到了房东，双方经过仔细协商并校验房产证等之后，最终以77万确定成交，我们当场交付了1万元定金给房东（非中介）并签署相关定金的合约（非房屋买卖合同），约定过几天签合同。但是第二天中介就找到我们说卖方现在无法给我们明确的交房日期，因为他们也在买房，要等他们看中买好装修好之后才能搬走交房，问具体什么时候他们说不知道，说不出来，说即使这两天在看的这套房子确定好买下，也要在手续办理装修等其他一切弄完之后才能交房，也就是说最快要到明年1月份。并且卖方现在将我们给他们的1万元定金交回给中介，说他们不承认收了定金，原因是前一天带我们看房跟我们谈的房东有老年痴呆，房产证上有3个人的名字，她的行为不算数。这种情况我们是否可以要求他们限期交房（如8月底之前），如果不能交房是否可以作为卖方违约要求他们返还定金并按照合约赔偿1万元定金？
----------------------------------------问题补充：--------------------------------------------------
但是现在卖方认定收钱的人有老年痴呆，并且现在钱在中介手中，他们不承认收过，他们认为老年痴呆的人签字不能作数，我们该怎么办？