养父要与我和弟弟断绝关系我该怎么办

我7岁到姑姑家生活，后来姑父拉着我到村里打了一张证明，生父没有签名，到我8岁的时候养父，也就是姑父就因为扰乱军婚罪坐牢3年，回来后还是不改又去勾搭女人，家里就这样整天吵吵闹闹，从此以后养父就不回家，后来和那个女人有了孩子，我妈妈就和他离婚，离婚协议是养父他一个人净身出户，家里一切和他无关系，但是他必需付抚养费，可是后来他根本就不想给，甚至我们去问他要还要被他冷言冷语，挨那个女人骂，我妈妈身体不好在一九九四年被活活气死了，我那时已经长大了，就去广州打工供弟读书，每月都寄200给他直到他毕业，这些都有我以前写信给弟弟的信为证，他没有尽到做父亲的责任。