我爸是个吃喝嫖赌，20几年没上过班的人，天天在外面不是赌就是嫖

我爸是个吃喝嫖赌，20几年没上过班的人，天天在外面不是赌就是嫖，前年我爸老家拆迁，分到了220万，其中一百万压押在乡政府的，为了以后买拆迁房用的，不够的到时候在贴，我们家可以分到三套房子，因为拆迁房房款只能打给户主，所以拿到手120几万的支票名字写的是我爸的。后来因为他又去赌博了，而且赌的更大了，在外面输掉了30几万，说借给别人借掉了20几万，为此我让我妈和我爸离婚，两人协议离婚，协议书上写着，将来拆迁分配的房子他拿大套，我拿中套，我妈拿小套，剩余买房的45万放我妈那，离婚时再给他5万生活费，签订协议时。后来他又输了很多钱，通过房产中介把自己还没拿到手的那套房子协议卖给了别人，卖了170几万，当时他卖房子需要我，我妈，我爸三人都签字，我爸妈签了，我没同意签，但是因为有离婚协议，他最终还是卖掉了。对方买家在拿到房子前先给他了10万定金，后来又因为赌博把钱输完了他又问买房的人拿了4万，等到真正拿房的那天，我们拿三套房需要170几万，我妈拿出40万，押金100万，还差20几万，他因为拿不出其余买房的钱，只能让买他房子的那人先付20万，那人起初不同意，最后商量下来，只要我在买房协议上把名字签了，他就同意先给我20万，而且协议上另注明，余下的买房款都与我交接，和我进行交易，当然我爸不会没有任何好处就同意签这份协议的，对他而言损失太大了，后来协商房子到手后，对方付一部分房款时给他20万，作为养老的钱。房子拿到，对方也打给了我110几万的房款，剩余的30几万等产权证下来，房产名字改掉后再给。我就把20万给了我爸，剩余90几万，我给他买了个二手房的小套，房产证上写的是我爸和我女儿的名字，装修好，一应俱全后，我手上只剩2万多。后来他又把自己手上的20几万挥霍玩了，距离我给他钱不到2个多月，他把钱挥霍完后就天天来我这问我要钱，说是我骗他买房子的，害得他没钱了，我实在没办法，说我每个月给你2500元生活费你好好做人，自己去找份工作。他刚开始几天还行，半个月不到后开始不消停了，又去赌了，没钱了就天天来骚扰我，到处闹，不给就骚扰，我实在是受不了，把剩余的2万元全给他了，跟他说明，他的钱我这里没了。当然没几天他又挥霍完了，他又开始来找我，我不给他，他又问我要他刚买的那套房子的房产证和卖房的卖房合同。我都不给他，他就去外面借高利贷赌博，输了10几万，今天他又来问我要房产证和卖房合同，说要拿去抵押，我不同意给他，他就拿把水果刀抵着自己的胸口，说不给就自杀，我老公报了警，叫了其他的家人来，把他拉了开来。我现在实在是没办法了，不出事警察又不管这种家务事，我真的想和他脱离妇女关系，只可惜我和他有血缘关系，脱离不了。我能通过什么法律途径来保护我的合法权益，他已经严重影响我们一家的生活了。如果他提出与我解除父女关系，能解除吗？