如此父亲，我该怎么办

我爸和我妈已经离婚了，房子归我妈的，现在的情况是我爸赖在我妈家不走，我妈看在多年的情分上也没下狠心赶他。他只是把这个家当成旅馆，早出晚归的，都在外面跟别人打麻将，吃饭，唱歌。我爸是一个非常没有家庭责任心的人，从小就不关心我不关心我妈，而且很不讲道理，大男子主义，由于这些，我们和他的生活轨道差太多，生活在一起老吵架，还一直想打我，都我妈拦着。在我眼里，他根本没资格做父亲做丈夫，也不配做儿子。他老说我对他没良心，他自己这把年纪了还欠了那么多赌债，没让爷爷奶奶过生好日子就算了还让他们担心，我现在就是想把家里搞好来，我读大学的钱都是我妈借我妈还的，我和我妈不要求他为家里做什么贡献，只要求在一起生活就互相理解，要讲道理，可是他凡事都随他性子，根本不管其他人感受，现在我想让他搬出我妈家。(他这个人性格极端，冲动了什么都做得出来，我妈一直没做什么也有这方面的原因，以前打架的时候对我妈举过刀)我不知道该怎么做，请律师帮帮我。