父亲反复的伤害子女应该怎么办

律师们你们好。我是一个24岁的姑娘，还有一个22岁的弟弟。父亲今年48岁，大概十年前开始，他就已经没有经济来源（他有上高中，能言善辩论）靠在社会上赌啊借骗糊自己口。我的家在大山，我妈妈在山里种些地那时候已经没有办法养活我们，所以开始到城市里打工，捡垃圾。我15岁就开始在外面打工赚自己的生活费，但是我的父亲也跟着妈妈，总是去她打工的饭店找麻烦，找她要钱。有一次去我暑假洗碗的快餐店找我要钱，那个时候一个月只有300块钱，他拿走了200.家里所有的东西，老屋，田，山，全部被他卖掉。现在我已经工作四年了，做业务员。赚了的所有钱，交给我妈妈建房子，零用的所剩无几。我们租房子在哪里，我爸爸就跟在哪里。其实我们并不是那么没有良心，衣食上从来不少他，我也会给他买些东西。可就是这样，他还是依然不断的找我索要钱，不给，就摔东西，说养女无靠，说天地良心怎么有我这样的女儿。有时候还打，拿东西砸我。前些日子因为他动手打我妈，我愤怒了，顶撞他，说他不配为人父亲。没有想到，他追出来把我按在楼下的小卖店打，还好被别人拉开。这还不算，他扬言与我断绝父女关系，要求我偿还他小学已及初中时他曾交的学费的10倍，我拿不出钱。第二天他竟然跑到公司来了，当着所有同事和老板的面，叫我下跪，说了许多难听的话。后来我们一起去了公司楼下的银行，我取出所有的2000块给他。他才罢休一会。我想离职，换一个他不知道的公司，可是他又扬言说，除非我死，要不然那笔债务永远别想逃。短信电话不断的攻击。
我妈妈通过法院，已经跟他离婚。现在安顿在一个亲戚家。
但是，我与他的关系，永远不可能断绝。我没有办法，不知道应该从哪里寻求保护。