房产纠纷

06年时从拆迁户手里买一套房子，当时他有2套房的指标，但他只需要一套，那时转手一套房的价格2000到10000之间，介于和他有点沾亲的关系收了我2000，那2000连个收条也没打；收了2000后过了10多天吧，打电话来去房产商那里选好了房子，算了一下价，就收了一半房款，（当时我太大意了，连个正式合同也没签一份，只是他收钱打了个收条，上面写了总房款和收了多少钱，还有见证人和收款人签名）他只能收一半的权力，因为另一半要交到房产商。07年交房时，（后才知道他为人不后道，说话不算数，经常出尔反尔）他就开始说他转让给我的价格太便宜了要加价，我不同意。后就我们开始准备装修，我的防盗门和防盗窗都装好了，他又说要跟我换套房子，因我那套多几个平米，（还有我装好的防盗门窗也不补钱给我，说是补偿他，说我占了他的便宜）开始我不同意，但后来他就死皮赖脸，中间也说过难听的话。后就说换了以后再也不多说什么，我想，以后住在一起也得相见，不想闹得太僵，所以也同意了。装修时就问过他，什么去房产商那交余款（因为他是拆迁户主，得和他那套房一起交）交了也好把房产证办了。他却说不急，因为还有其它户主都没交，因房产商的房产证暂时办不下来，以后再去交也没事，那年装修后，因在外面做生意，回去住也不方便，一直没搬进去。一直也没等他电话说去交钱，中间他打电话来说房价上涨了，他要我加钱给他，我就说没道理，所以一直没同意，跟他说不清，要他儿子回来，我们再谈。他儿子在外地工作，回来也少，我也没急着住进去，所以一直耽搁着。10年时跟他儿子谈过一次，他儿子却说要按现在的房价补钱给他了，这不更加无理了吗？那次没谈好，中间也找过见证人去和解，都没用。一直托到现在，他现在不说要加钱了，说要把房 收回去，他不卖了。现在只有走法律程序了，最主要的是我没有买卖合同，房款交了一半，装修也装了。我想咨询一下有关律师，我这事应该怎么办？