如何和父亲断绝关系？

我是在大概5岁的时候父母离异，当时是把房子和我的抚养权判给的父亲，经常打骂我，直到我初中的时候父亲把我丢给了外公。最开始给了一些抚养费，大概一两年之后就开始打白条（现在还有欠条），然后到我大概高中的时候就偷偷卖掉了房子人间蒸发了。从那之后我一直是由母亲抚养到我现在22岁，我想断绝与父亲的关系，我不希望在他老了以后来投靠我。请问有办法吗？
目前我的户口也还是跟父亲一起挂靠在以前判给父亲那个房子那边（房子卖掉之后一直没牵走），我现在打算把户口迁到外公或者母亲这边可以吗？