弱肉强食

律师你好：我在别的村买了一块靠近河边修房的地皮，因为我给他们掏了土地补偿款，他们当时口头承诺让我从我隔壁邻居房屋基石为准一直到河边桥头由我使用，房后到有明显地界。在办理房屋申请时，申批的是0.3亩。具体四址范围是：东至金安成房基础砌石，西至大桥头，北至桥头加油站后围墙转角第二个砖柱。长15米，南至公路。从第二个砖柱到公路面19米。我修了5间房，剩余面积到河边桥头有9米左右，由于当时修完房没有能力把剩余面积到河边桥头这段堵起来，竟成了到垃圾，下河道的便道。现在我拉了围墙，可现在有一家人想让我给他让一条4米宽的车道，我不同意。他就找了给我买地的村组来强行拆除围墙让我给让出条路。我以申请表的四址范围西至大桥头为由坚决不让，可他们以只给我审批了0.3亩为由，要我让路。由于那家人有钱有势力，并找了镇领导给我施加压力，让我让路。难道没钱没势的老百姓就任由人欺负吗？我该怎么办？