房屋买卖协议

我于2008年7月与另外一老头签定了房屋买卖合同（签合同时，该房子还没有办理房产证，双方在合同上签了定并摁了手印），合同约定，22000由我交给单为（建房款），另于当年十二月、第二年十月我分两次分别向对方付款两万元，共计四万元。付款时，我在银行柜台理的，因为当时银行柜台的服务人员为了自己的业绩没有给我办理转账，而是取现后再将钱存到对方卡中（老头和我一起办理的），付完款后，因为对方是我们单位一退休职工，彼此较为熟悉，我也没要让对方给我写收据。2009年，我将22000房款交给单位后，将房产证办理给了我的我岳父（因为我当时要另外买房），2011年十月，我将房屋转卖并过户了。这老头最近居然天天跑到单位来找到单位领导，说我没有付钱给他，要我出示四万的付款凭证，我到银行只打印出了两次共两万元的取款记录，但不能证明付给了对方！对方四处扬言说我诈骗他的房子，要到派出所报案、要到法院去起诉我！因为我是在职职工，对退休工人又不能过于强硬(对方七十多岁了，并患有多种疾病），我不胜其烦！请问，我该怎么办？他若真的起诉到法院我会输掉官司吗？房屋买卖合同时效两年适用我这种情况吗？我有没得义务出示付款凭证（即使对方当时写了收款字据，这么多年也极大可能遗失？对方再到单位来闹，我该怎么办？（房屋买卖合同还在）