房屋纠纷

今年我家要起房子了，我们家拆了老房子，新墙离他们家老房子2.2米，但是后面那家不给建，阻扰我家施工，他们老房子在1983年建起，在这之前是生产队那时候分给我们家的自留地，那时候和我爷爷是口头协议说在那建房子，先是建起了三间，后来又扩建了两间，之后他们不断增建了厨房，猪舍，还有旱厕，并且这些都没和我父亲和叔叔商量过。现在，他们说老房子前面的地方全部是他家的，还有后面厨房那过来全部是他们家的，而且，现在他母亲见到我家人就咒骂，说我们家抢他们家的地。现在房子也建不了，请问各位大律师，我该怎么办？ 
问题补充：
1.当年土地管理所的测量时并没有与我家和我叔家确认。
2.当年他家建房时,出现问题念于同族兄弟没有及时澄清,以至于他家有机可趁. 
3.当年说好等我们家以后建房子了，可以拆掉老房子建起来，现在翻脸不认了，怎么都不让步。