谁能告诉我，我该怎么办

事情是这样的，我家后面的一块空地原来是我家种植树木的地方，最大的树都有三十多年了，还有很多小树，然而没想到的是在我后面那一家住的是蛮不讲理的禽兽，没有经过我家的同意砍掉了我家的大树，这点算是小事，就连我爸砌的砖作为挡土用的，他也在砖上面加高，把我家原来种树的地方捣制了水泥，这块地方就这样给他强行占有了。那时我们还小，我爸又不知道怎么处理，因为他兄弟多，又是黑社会的小混混，动不动就打打杀杀的，所以就这样子算了。
直到去年我家建房子的时候，等到我家拆掉旧房子挖好地基，泥工已经调好一大堆水泥浆准备捣柱子的时候，他突然站出来要求我家签协议，必须从我家再让出一块地方给他，否则不准动工，如果动工就找人捣乱，扬言打打杀杀的，当时泥水师傅都不敢去做事了，没办法我哥只好签了一份协议书给他，对方要求我哥写，每句话都是出自对方所说，这样算是被逼吗，当时写完后我哥签了我爸的名字按了自己的指印。当时我和我爸都没在场，而且我和我哥早已分家了，这份协议书已经损害了我的利益了，我想问下这份协议书有效吗。
今年我装修房子，对方拿出协议书说我家没按协议书上面去做，不准我装修房子，而且泥水师傅搭的架子也给他拿刀砍掉了，也不再去动工了。
面对这样的情况我该怎么处理，我想知道这份协议书到底有没有效，我已经向法院起诉了要求撒销协议，结果又是怎么样的，希望大家能给我个意见，谢谢