关于异地购房问题请教您

您好，我是一名退休个人，最近在外地一时冲动定下了一套房子，但现在那里正在开发，医疗基本生活都不太方便，当时只考虑了环境，交了2000元定金，并又交了首付中的一万元。回来后这些在考虑的确有些后悔，就不想要了，3天内通知了售楼处的业务经理，（因为他们让我们回来办理异地贷款，而且国家现在对异地购房也有限制）（购房合同内明文写的条款是：如果在规定时间内交不了首付，2000元定金不予退还）但他们的答复是不要房子就作废此款；在不就再找个买主转让出去。第一答复我心不甘，第二答复我很作难。我和老伴都是依靠退休金过活，身体也不会，老伴为这事非常闹心，记恨自己糊涂，又恨自己无法处理，心情一直不好，常常夜不能寐，还去了会医院急救，为此，我也心急如焚特向您请教，，帮我出出主意，谢谢