我和老公是农村，结婚2年多，我老公父母已经离婚10几年，因为他父亲烂赌

我和老公是农村，结婚2年多，我老公父母已经离婚10几年，因为他父亲烂赌，逢赌必输，曾经为结10块钱，向人磕头，我老公从小跟婆奶，姑姑长大，可以说一毛钱没花他父亲，他父亲也不问老公事情，我们一直和婆奶生活，他父亲一直在新疆，我老公五年前找他去，在那打工3年，3年工资要去8.9万，我们结婚时他也没有回来，更没有花一毛钱，去年他父亲跟他小儿子回来了，那女人没来，回来一毛钱没有，到家问婆奶要钱，婆奶两个女儿，就这一儿子，，疼到命根，婆奶没钱了到女儿跟前说，姑姑一听给钱，买东西，当时我怀孕2个多月，本来每天帮烤两壶开水见儿子回家，把我跟老公撂下单过，照顾那父子，没几天他父亲有开始烂赌，挣几天钱就去赌，挣1000赌850，好吃懒做，回来之前我老公婆奶打电话让来家帮我们盖房子，他父亲推脱工钱没结，一晃半个月，自己偷偷回来，工钱一早输光，就这我们房子也盖了，我还回娘家借了钱，房子是他父亲在家看着别人盖的，他父亲一直对外说他挣多少多少钱我们房子没他根本盖不起来......已经回来半年了婆奶在他生上花了5000多块，他自己还挣钱，他带回来小儿子没出生证明，到现在没户口，给他1800去办理，他都拿去赌了，还问别人借钱说要给老公买洗衣机，也没人借，我做月子中问题爆发了，他父亲赌钱，婆奶去劝说，被他父亲指着鼻子在街上骂到家后，婆奶跟他儿子一直是三天一吵，五天一大吵，生产后婆奶提过几次让儿子给点钱给小孩，他父亲都说自己没钱了，婆奶说他问人借3000还400.借1000还1200不是钱啊，他不说话，骂了后婆奶开始和我们过，我老公私心挺向他父亲，老公让他父亲去新房住，房子已经盖好，只剩下装修，我做月子不知道还是婆奶说的，也不给他儿子住，让我或者老公去让他搬出来，我逼着老公钱去，老公气的说都在逼他，婆奶是怕房子被他父亲输钱抵给人，房子现在都统一没有办理房产证，老公心里也发毛不情愿去了，他父亲跟弟弟。住在婆奶老房子里，他们一吵架基本是赌钱跟干活，一没钱他父亲总是找茬吵架，一会他结婚家具，一会是田地钱，变着法要钱，要去新房子住，吵架不听人劝说，说婆奶没资格说他是，他脾气有一半也是婆奶惯坏的，今天因为新房子里有两袋稻子吵了，碗也摔了，指着婆奶脑瓜骂，都要点上了，婆奶回来后说骂她，要打她......我让婆奶拿着棍打，婆奶舍不得，也有点怕他，婆奶怕逼急了他父亲把小儿子撂在家里，他跑了，我想咨询向这样可以断绝关系吗？还有什么处理方法