当初的好心帮助，却变成现在的这种局面，该如何是好？

外公是城中村的，农业户口，外公生了两个女儿，没有儿子。多年前，外公与其弟弟各自成家后，由于弟弟的家庭成员不断增加，不够地方住，故外公好心把香火屋及旁边的地皮暂借给弟弟一家居住及建房子，外公一直都认为他们都是亲兄弟，不需要计较什么！兄弟有困难，当然要帮帮忙。谁知道到了现在，外公及其弟弟都去世了，外公弟弟的儿子、女儿们不但不感激外公一家，反而认为这屋及地皮都是属于他们的，想抢屋霸地。我们到村委会前去讨个说法，他们便勾结那些社会流氓恐吓我们，说我们是外人，不认得我们，并多次拦截我们，不让我们进入村委会办公室，其实村委会的村干部对我们的情况都相当了解，但竟然一只眼开一只眼闭，默认了他们的做法，根本就不许外公两个女儿呆在现场，只让外婆进去村委会协商解决，一个90几岁的老人家能做得了什么呢？各位律师，我们应该怎样要回这块地呢？难道我外公的地就这样白白给人占了吗，农村的土地都是没有土地使用证的。