房屋产权问题

律师你好！我老家弟弟现住的房子，正在使用的厨房，在今年2016年5月1日，堂兄4人跑来跟我母亲说要回我弟弟现在的厨房，理由是这块地是他们的母亲以前占有的，只是借给我们用，现在要收回，只是一个很荒谬的理由，他们仗着权势，家庭比我们富裕，兄弟多，以大欺小，以多欺少，欺负我软弱的弟弟和一个可怜的盲眼的妈妈。我妈妈和我弟弟现在住的房子和厨房，是原来的祖宅，是我爸爸留下来的。我爸爸兄弟三人分的房子都是爷爷留下来的，他们所分的房地都是一样多的，我父亲还在世是没有一点争议，现在我父亲离世几年后，我堂兄弟就开始想霸占我弟弟的房地，他们有四兄弟，而我们家只有我弟弟一个男孩。我们原来的厨房是在他们家的前面，后来房子改建，两件在2014年建房前已协商好，我们两家相互交换一部分地方，我们前面的厨房让给他们盖房（约十来平米），他们在后面让 出（约7平米）的地方给我弟弟建厨房，我妈妈不想和他们争，吃点亏，就忍了，双方都没有书面形式协议，就这样达成。事过两年的时间他们反悔，想要回原来的地方，而我弟弟原来的厨房他们已盖上房子，请问我们该如何为自己维权？他们死兄弟，有两个都是受过高等教育的，老大现在是南宁市地质勘察院长，而且他们跟我们村委都是有些关系的，我们找过村委，他们根本就不受理我们的案件。请问律师我们该怎么办，我母亲为了这事整日担心受怕，担心他们什么时候再来闹，害怕他们欺负我弟弟。