农村原拆原建邻居故意叼难则么办

我家是碧湖镇，任村，家里有爷爷奶奶，爸爸妈妈，我和老公，还有个女儿，7口人，想将爷爷奶奶名下的土木房拆后重建，老房子土地证上面积180平方（12*15）东西两边是人家，北边是菜地，我们自愿西边留1米为路，东边留30公分滴水，北边留4米*12米为路，北边可菜地的人家还是不同意签字，叫我们要退6.5米*12米。为路，盖的房子不超过10米，房子不做挑台，还要压金10万。如有违反这几条就要没收压金。请问我一定要北边菜地人家签字才可以盖房子吗。老房子是爷爷造的，年数久，有一边开裂了。雨都打到家里来，北边菜地的人故意为难。我要则么办。