农村房屋，赔付问题

尊敬的律师你好，我有一些关于房屋纠纷的事情想咨询下各位事情是这样的，我爷爷是农村的有2个女儿和三个儿子，我爸爸是大儿子，两个女儿是嫁出去的，爷爷过世前留有三间房子，房子很破旧，当时我小叔工作是经常在外，很少回家，爷爷奶奶也是我二叔和我父母一直照顾着，后来房屋居住的方式就是，最东面我家住着，中间应该分给我二叔，西面分给我小叔，就因为我小叔说这个家，这么破他才不要呆，后来我二叔就住进了西面的房子，在我们家还没有造房子之前，小叔就经常戴女朋友回来，回来之后先来看看我过世前的奶奶，之后就和我我爸和我二叔说他不会戴着这个破房子里的，谁要呆，就让我爸和我二叔家拿出一笔钱来给他算是，房子他不要了，之后我二叔和我爸爸就拿了钱给他，之后他多次回来，又说要结婚，后来我爸和二叔家就拿钱给他，10年前，他又回来，说要去新疆开店，我爸爸和我二叔投资他钱，后来我爸爸也跟着去了新疆，去了新疆，他店不开，拿着两家的钱，全部挥霍掉了，当时这笔钱，他还欠了一部分，至今还未归还，后来我二叔先造房子，拆掉了西面的房屋，因为房屋建设需要打报告，报告批下来才能造，后来我们徒弟都对调，二叔就把房子造在了我家后面，之后一年，我家也要造房子，当时房屋批的已经是危房了，之后我爸打电话给我在新疆的小叔，说我家要造房子，问他，也是经他同意过的，按理来说是当初去新疆开店的钱抵还当时他的房子，等我们家房子批下来后，也造了，有一次我小叔娶了老婆有了孩子，他老婆在医院的时候他就打电话给我爸，说要房子，我爸就应付了下，说答应，我爸爸是属于老实巴交的人，什么都不懂，后来我小叔在06年回来，一直住在我家，我家供他们吃供他们住，后来他又说要开店，让我们家凑钱，后来我们没有再答应他的谎言，他到我姑姑那边借到了钱，但他从未归还，后来他们又回来新疆，09年我小叔回来住宿在我二叔家，又因为房屋的问题，酒醉后来我家闹事，砸碎了我家里用来做生意开店的热水壶，用石头砸碎门窗玻璃，后来我报了警，警察说是家庭纠纷，最好需要自家调节，后来他赔了我家200，他说，我家拆了他的房子，让他没处住，我二叔就说什么和他都没有关系，房子是我家给拆掉的，我家的房子造在老房子的地基上，当初我二叔的房子也是我们大家协商好，他才能造的，现在我二叔撇开关系，把责任都推向我家，后来我们经村委调节，说给他盖房子，在我家前面的土地上，当时说给他造个平房，我爸爸石灰都买来了，但是之后我小叔自己不管这边了，人就去外地了，造房子的事情就耽搁在那里，10年，有拆迁房的分配，但是要拆掉自己原有住宅，我小叔当时没有房屋，我爸爸想着不想再让他闹事，就逼着我妈妈拿出钱交了3000块钱押金，但是换小区房就必须要拆掉我家的3间店面房子。因为时间推移，就没在提起，但是今年说8月份就要来拆了，才能拿到拿边的小区房，我妈妈很伤心，当初房子那么破烂，没人要住，现在看着我们每家每户房子都造的那么好，他就来闹事，当时爷爷的房子在这里是除了名的破烂，直至我家要造房子，房子也是危房了
当初我小叔多次来我们这边两家骗取钱财，也说房屋不要，后来两家才多次拿钱给他，当时也没有立字句，因为都是自家兄弟，现在他有妻儿了，他就回来要闹房子，他现在人在新疆，我们这边打电话给他，他就是不接，他要房子什么的，就一直打电话给村委，从来不给我们说。
因为现在我爷爷奶奶都过世了，房屋他就像我家讨要，我家理亏，没有知道我家当时住的那么破的房子，外面一下雨，家里漏起水来，有多艰苦，还要用碗去接。
我想咨询下，这样的情况，我小叔的房子，到底谁来赔付