无法解决的老屋使用权

我住在县城。大约十岁时父亲就去世了，母亲含辛茹苦地拉扯我们兄弟姐妹五个（三姐妹），在大爷家的帮助下，八十年代初，我十七岁时在六间地基上靠路边建了四间，中间空了两间。当地农村的风俗，每个儿子三间地基。后来我考了学，老二在我毕业后的第二年结了婚。七、八年前，老二在没有告知我的情况下接建了空着的两间。这些年所有的房地他都独用，那时他也挺穷的，我肯定不会计较。去年他家要盖四间新房，母亲怎么也不同意，只让他盖三间，说剩下的三间到时给我回去盖（我现在在县城住），并且把她的这个意思在我的三姐妹及亲戚本家面前说了，老二只得建了三间。在他花钱请别人拆房子(说好了拆三间给对方多少钱)的同时，自己也亲自动手，结果多拆倒了一间，自己说是不小心的结果。我现在很是怀疑：他若不亲自动手，人家怎么能多拆了一间呢？！当初，母亲原打算让老二盖在西边三间，即把他盖的两间及老房一间拆了，但是由于当地有种风俗：如果两边没盖楼，只是中间盖楼，叫做“二鬼抬轿”，不吉利。老二要求在东边盖房，但是东边的两间是母亲留给我的房产，所以只得通过房换房，即老二把我的两间老房拆了盖新房，他建的西边两间换给我，当时我的三个姐妹和大爷家的两位哥哥都知道这事。过后，母亲又在我面前重申了房换房的事。可是没想到母亲刚辞世，他就反悔了当初的约定，迫不及待地要把我撵走。后来经亲戚本家说事，我做出了让步，答应给许多钱他都不同意。现在关键是，我的房屋自己绝对不能正常利用，对方借口是他盖的。要是老家有事，我们只能在姐姐家或者本家住，最可气的是我要是去我的老院里，他们就横加干涉，特别那女人既能打，又会骂的，完全一个十足的泼妇，恨不得把我置死地，我爱人自己去老屋，两口子就一起上，说是男人拉仗，可是最终吃亏的为什么是我的爱人，而他的老婆毫发无损！？ 我那可爱的弟弟，是唯老婆话是从，所有的兄弟姐妹都可以不要。当然大家已经无计可施啦，就希望我去告他，这也是这一对男女的一直来的愿望——一年前他们就大叫让我上法院，可是我这一年多来，就是拉不下脸——毕竟亲兄弟，上了法院真的很难听，可是如果她要是有百分之五十的胜算可能性也早就把我告啦！现在我很纠结：他的最终目的就是把我撵走，以达到霸占我的房地的目的，我该怎么办？如果真是要打官司，我的手里只有去年挂失的土地使用证，（不知能否证明我的那几间被拆的老屋），还有兄弟姐妹做证人。我的要求就是他们不再干涉我对自己老屋的使用权。
谢谢！