我们家与邻居家最早之前是用同一个小巷。我家在里面。几年前我家与邻居家商量

我们家与邻居家最早之前是用同一个小巷。我家在里面。几年前我家与邻居家商量，我们家大门向久扩，他家大门改了方向，朝向马路。但是村里不同意，说大门以外的地方都是村里的集体地，我们向外扩需向村里交钱。我们也交了钱，写了字据。字据中有提到，如按村规划，我们需不条件拆除。我家也同意。但是邻居家盖房，现在就让我家拆除掉，挡着他家阳光了。说这是两家的地，我们不能私自占起来。让我家拆除掉，请问我家必须拆吗？如果是两家私人的地，村里为什么要向我家收钱，当初说是村里的？我家可以不拆吗？