急！！农村建房纠纷问题!

我家去年年末建房，邻居先建的房子，建房子是我爸不在家，只是喊了我妈看了放线，当时没有超越两家的地界，他家当时说好房子两边留33厘米的滴水，但后来下地基时就下到我家地里了，如今我家建房，发现问题就找屋主商量，当时屋主不在家，就委托屋主爸爸办理此事，当时屋主爸爸说了赔偿我家500元的损失费，还说给盖房子工人700元的手工费打掉出到我家这边的屋檐，还承诺我家可以和他家屋靠山建。现在我家把地基照他家说的解决方案打下了。现在屋主家另一边的邻居说他家屋那边只有33厘米。但因房子建到我家这边了，那边应该有66厘米的，因另一个邻居比较有实力，加上如果他们死赖房子没盖偏就不用赔偿我家损失了，所以他家现在就无赖了，说屋子这边还有33厘米。不让我家继续建房。但我们家的地和他家一直都有地界存在的，（我们家的地在十几年前分地的时候多了28厘米）他家的房子明显盖偏了。我们就请村干部来处理，干部就让我家让他家10厘米，并且承诺我家一定可以建房。但是屋主家庭势力比较大，现在耍起无赖了。死活不让我家建房子。我家现在都在读书没什么实力和他们抗衡。现在村干部拿他们也没办法。拖着不给处理。爸妈现在很难过，精神都受到了刺激。请问这种情况怎么处理。