和邻居的土地纠纷签了协议，但对方反悔，怎么办呢？

起初和邻居家同时建房子，为了方便他们进材料，我家将新房子的地基推后一些，在门前腾出一条大路（以前是一条小道）。但这样的话就用到了一小部分邻居家的土地（当时两家关系好，邻居同意让我家用着一小块地）。后来，我家想在房子旁边建一个小车库，但邻居称影响了其采光（实际隔得较远，并无影响），不让我们建，还说我家占用了他们的土地。后来经过村委调解，签订了协议，协议上写明允许我们家在自己土地上建车库，而且两家和村干部都有签字确认，但现在邻居反悔，该怎么办？村干部来了邻居也不答应。该怎么办呢？