我们家老房子已经垮了，准备重新修缮。地皮是7字形，刚好A家的一个厕所在我家旁边

我们家老房子已经垮了，准备重新修缮。地皮是7字形，刚好A家的一个厕所在我家旁边，加上A家厕所，这块地皮就是正方形了。这块厕所的地皮，我爷爷在十三年前就拿一块比厕所大好几倍的地和A家交换做房子，但是当时没有签合同。现在出来一个B家，他们说这块厕所的地皮是他们家的“老业”（他们家前四代老祖宗的地），他们家要在这里做一个厕所，不让我们家做。今天跑到厕所地皮去打基础，还躺在那里，说要做房子就先把他埋了。B家看上了我们家另外一块一亩多的地，让我们家把那块地给他们家做房子，然后分三分之一的地皮给我们家，才让我们家做那块厕所的地皮。村委会、乡政府都说我们家做厕所那块地皮和B家完全没有关系，可以放心修缮危房。B家在村委会和乡政府面前假装说答应不闹事，很好说话，但是他们一走，B家还是老样子耍无赖。