二手房买卖违约纠纷

请教各位律师：
我有一处房屋通过中介出售，该房是贷款买的，房本在银行做抵押！
中介给我找到买主，约定的方案是，交2万元定金，然后一个月后把房子交给他（那个房子一直是在出租，腾房的话得提前一个月给租户打招呼），在这一个月期间，我预约银行提前还款，如果银行有空，买主随时配合我给银行换尾款，也就是给我付首付。
签合同时，我拿到2万定金，但是中介不知道怎么把买方付款时间那栏写成了：“交房时付首付款（也就是交钥匙的时候），余款过户交清”。当时我没注意就签字了。
第二天我开始通知租户搬家，并赔给人家违约金。然后又预约银行提前还款，银行很配合，约定三天后还款并当时就可以领房本。
但是当我很高兴的通知买主，可以马上还款，马上过户时，买主却说不行，必须等我给他钥匙时才给我首付，然后拿房本过户，说合同是这么写的，我说咱们立马付款立马过户，房本名字立马改成你的，只是你晚几天搬进房子而已，为什么不行？怕什么？而且现在还款，等到一个月租户腾房，也就是2011年1月28日，离春节才3天了，上哪里去还款过户啊，那样一拖就是年后，现在早办早完事，利落啊。但是买主坚持拿钥匙交首付，说合同就这么写的。
我该怎么办？如果我单方违约不卖给他，合同规定我要按总房款的30%赔付违约金，请问合理么？我才收了2万块钱，为什么要承担总房款（比方说100万）的责任呢，我违约的话，能胜诉么？
还有一个问题就是，一般买房的在过户方面比卖方的急，但是我面对的这个买家不着急，为什么？