房屋产权纠纷

我爸有一个哥（我大伯），和他同母异父（也就是说我大伯的父亲去逝后我奶奶了又找了一个男人，之后有了我爸一个儿子）。在我大伯成年结婚后我爷爷给他建了房，让他们单住，之后我爷爷又和我爸另建了三间房子，我爸和二老以及妹妹住着，（房子只有土地使用证，并且是我爷爷的名字）我爸结婚后没有住老家，另在镇上建了房子居住，但是还是尽了做儿子的责任和义务照看父母，及养老送终！2007年，奶奶和爷爷去逝后，我大伯儿子却拿走了我爸爸和我爷建房时的唯一证件土地使用证，拒绝还给我们，理由是：以前他爸（我大伯）在世时给我们木材做了换房的交易（其实当时我们提出的条件，他们没同意，最后并没有换，而且协议也未达成。只是当时我们建房还差点木料我大伯给了一些木料，之后我妈给了他钱，可当时也没收据）我们这几年也没拿到那房的土地使用证！今年那老屋土地管理所测量办理房产证，我们也不在老家，我大伯儿子便把那房子写到他名下，我爸找土管所，工作人员让我家找我大伯儿子协商，可我大伯儿子却和我们大吵，拒绝归还！
请问我爸自己和他父亲一起建的房子，他父亲已经去逝，房子是否归我爸所有？他们给我们木料我妈给了钱，可我们没收据，我的那大伯已去逝，他儿子不认帐，说死无对证，还说我们两家已经换成了，说不管怎样房子是他父亲留给他的。我们也没给他家写字据说房子给他们！我家在外住了好多年，现任的村长知道房子最早是我家的，却听信他们的话说我们拿房子换了木料，认为是他们的了，还帮他家说话！请问律师，我们该怎么做要回房子？？？ 恳请百忙之中务必一阅，给想一办法，谢谢！