律师您好，我想请问一下，因为我丈夫出轨，又有家庭暴力，所以我后来起诉跟他离婚

律师您好，我想请问一下，因为我丈夫出轨，又有家庭暴力，所以我后来起诉跟他离婚，虽然我证据确凿，但是他在市里面有人，他坚决不同意离婚，打官司也离不了，然后我就出去打工了，孩子带不走无奈只能给他了，然后中间不给我看孩子，我跟他分居三年多，中间一直在打官司一直都离不了，一直到今年打官司实在是花了不少钱，后来我就让步把房子车子什么都给他了，这个婚就算离掉了。
然后去民政局办离婚手续的时候，我们签了协议离婚合同，中间还有问他亲戚（20000元）还有我亲戚借的债务（二十多万），我一次性给他3万元，当做孩子的抚养费还有欠他亲戚的钱，我这边的债务全部我来还，民政局改了章的。
现在，我给他的3万元，他并没有去还亲戚。但是现在他亲戚起诉他还钱，法院竟然把我银行卡的钱扣了，法院说他们不承认什么协议离婚，他只管我们两个人谁的钱好扣就扣谁的！我该怎么办！