宅地纠纷

律师您好
我家与邻居发生宅地争吵情况是这样的，10年前我村的李氏给他的儿子建房子，就找我和他换宅地，她的院子在我家前面，我的出路在我的宅地中间偏东一点，我的出路东面是李氏堂兄的地，我出路西面是李氏亲属的宅地，李氏是落他叔的就三间半的地方，因为李氏盖不开4间房的空。所以才找我商量与他换宅地，就是换路。我没难为他就同意了，经村干部协调我的出路改到了西面，当时也都打上灰脚，另外我宅地东边也与他相邻的。10年前我建房子就把老墙扒了换上砖墙，李氏不让就说是他的墙，与我争吵，因为对方是赖皮不讲理得人，就找村干部调解，经村干部调节双方都在现场都打了灰脚，相隔10年也没闹过，就在14年9.25李氏儿子按水管想在我的宅地和水管上接当时我不在家在外打工他带领水工擅自在我家的宅地和水管上接，我对象就阻止了 ，当天下午他儿子就来找事，我对象也 没与他争吵，等我回到家我堂弟说这事我就答应了说行接吧。10.6他儿子的妹夫来找我说事，我就说接好我又没说不让接，正好李氏儿子来了说现在说什么也晚了不接了吧你家树砍了说树枝挨着他的墙了，不是打树只是环保树，这时我正在和我堂弟在屋里说话，李氏儿子就把我对象以说树的名义骗到大门口树旁说话让他的二婚老婆当时我对象还怀抱我女儿家的1岁多的婴儿趁我对象不防备下抓住了她的头发就打当是还有李氏5个闺女一起打我对象把我对象脸上抓了4道血印我堂弟两跑过去拉开他们还打还骂还找7.8个小混混我就报了警，110来了拍了照录了像问问情况就走了这时对方还在闹又把我家墙推倒了一半，当时我一家人都在外面没看见谁推得，因为这家人是我村的无赖人渣不讲理我不愿与他吵，后经村干部调解他说墙是他的，墙布给磊，别人都叫我忍，就他这种行为是犯法吗对她们这种不讲理无赖我该怎么办，我说的全部都是实情，请律师给与建议