宅基地，对方以通行受到影响，强行不让我们盖房

前年购买的宅基地，但因为一直没有钱一直没有盖房，当时周围都是未开发的空地。今年准备盖房，同时对面的空地也盖起了商品房，对方认为我们的的盖房影响到它的通行，强行不让我们盖，只要我们盖房就派当地地痞来打我们。找村干部解决，他们因为对方送礼，站在对方那边，推脱此事。
   现在对方强行把我们家那块宅基地给填了，请问律师我们该怎么办。