土地纠纷

我在A处有一块面积为0.4亩的耕地八年前借给了二侄子打场，这块地和大侄子的地相邻，后来我发现地里种上了杨树苗，我要求二侄子归还土地，当时二侄子在监狱，他老婆说树是他大哥（我大侄子）种的，她可以做主把B处他大哥的地划给我一部分算作交换，我和大侄子已多年有矛盾不说话，我怕将来有纠纷，所以不同意，她说让我先种着，如果她大哥不愿意再说。就这样又种了几年，这几年他大哥在B处的剩下的那部分地都是由他家老三种，前年收脉时老三说换给他家的地少了，我找村干部量了一下，并没少给他，我怕以后缠不清，要求不换了。于是在收完麦子后，老三把换给我的B处的地种上了玉米，等玉米长到一米多高时又都除掉了，而且不吭声在A处地里拉上砖挖起了地基准备盖房子，我不同意，他现在见我就骂，还强行盖房子，乡政府、司法所、土管所都协调不成，我该怎么办？