怎样才能避免从来没有抚养过我的父亲的骚扰？

我父母离异21年了！自我一岁就分开，7岁的时候才办理的离婚协议.我的抚养权是判给父亲的，因为他的无赖硬要求这样才肯与母亲离婚！父亲脾气很暴躁，有严重的家庭暴力，致使母亲实在受不了才留下我去了远方.他生活很混乱，生平有很多的女人，也生了很多小孩，如今都不知道在什么地方，（曾经因为女人有过绑架案，后来被判刑10年，在监狱表现良好减免到3年）.离婚协议不仅不公平的将我的抚养权强行夺过去，还要求母亲一个人承担我从幼儿园到大学的学费，自己承认抚养生活费！但他至始至终没有履行过自己的责任，22年来都没有抚养过我，都在外婆家长大，22年中找我外婆闹过无数次，只要从外地一回来都会找外婆闹.也会同样骚扰我，不让我上学，要把我带走,每次都没有成功.如今又开始了，我现在已经成年，怎样才能用法律的手段保护自己，避免他再次骚扰我的生活与工作！