签订建房合同，对方拒绝按合同执行

我和乙方签订房屋翻建合同，对方签过字收了预付款钱说，没看清合同，不予承认，要另立合同，我只有他打的收款条。另外他没有施工资格证而且和别的建房者经常发生矛盾吵架。我现在不想让他建房了，他以已经将房屋推到，清理过为由拒绝返还预付款，说预付款已经作为施工费用花完了。拒绝与我联系。