房屋买卖，卖方想毁约！

想买一个二手房，上个月与卖方签订了协议（自拟），房屋总款57万元，我预交2万元，做为房屋大发票的更名费（房证还没下来），当场找来了售楼中心人员，把钱交予第三方去办理更名，我们拿到了钥匙。两天后，卖方拿着2万元钱和我的证件，说不卖了，要还给我们钱，且态度恶劣。请问我们可不可以起诉他赔偿违约金，协议上没有注明2万元是定金，也没有注明违约赔偿的事宜。而且，在我们没有同意的情况下，卖方私自换了房屋钥匙。我们该怎么办？请帮帮我们，谢谢！ 
问题补充：协议是自拟的，一式两份 都签上了卖方与买方的名字。并注明了以上条款属双方自愿达成。就是一点，2万元写的是“用于大发票的更名”“更名之后，交付余款。”