法律拿我爸有办法吗？

01年父母离婚，我被判给了母亲，因为父亲无地方住，两室一厅的房子其中有一间房判给了父亲，他在外边有女人众所周知，离婚后七八年没回来住过，也从没给过我法律判的生活费，我和母亲基本上以为他放弃了这间房子，也没有向他索要过生活费，离婚后没几年，他就不断的打扰我们母女的生活，恐吓我母亲再婚就杀我们全家，非常无赖说要和我们同归于尽，这两年在外边混不下去了，搬回了家了，口口声声说他才是户主，法律上他有份，常常恐吓我们，我现在在外地想让母亲把房子卖了来外地找我远离他，他就在家耍无赖，赖上我们母女了，谁拿他都没办法，法律拿他有办法吗？我们能赶走他吗？他还能赖在这房子里吗？