离婚房产纠纷

我爸妈离婚三四年了 结婚时我爸爸无工作 爱赌博喝酒 我妈妈常年在外打工赚钱 家里生活费都是我妈妈赚 因为我爸爸太游手好闲 脾气暴躁 经常喝醉了乱砸东西 我妈妈后来忍受不了 决定离婚 当时我初三 我也同意父母离婚 我爸爸威胁我妈妈说除非签订协议把房子给他才能离婚 我妈妈同意了 并且我由我妈妈抚养 我爸爸不尽抚养义务 之后因为我爸爸在外欠下赌债 被人追债就和我妈妈协议说让我妈妈付两万块钱把房子给我妈妈 我妈妈同意了 并且协议拿到公证处公证了 后来我爸爸搬出去没两天又跑回来大吵大闹 半夜撬门砸门 然后求我妈妈在他住几天说自己实在没地方住 我妈妈害怕影响不好 又看我爸爸可怜就让他住 谁知道他和我妈妈纠缠不清 天天吵 当时我初三 害怕影响我中考 我妈决定先带我搬出去 考完试再说 搬家是我爸爸拿刀威胁我妈妈签协议把房子留给他 还威胁搬家公司的人 我妈签了协议之后他放我们走 之后我爸因为犯罪入狱（具体什么罪不知道）这几年来他没对我履行抚养义务 我妈把房子的一层二层租了出去 三层自己住 （我家原是两层的民居 加盖了三层 这些钱全是我妈妈出的 包括装修 ）现在我爸爸出狱了 跑来要和我妈妈争房子 请问现在该怎么办 他总是骚扰我们 以前他喝醉了拿刀要砍我妈妈 我妈妈报警警察不管 我真的觉得他的行为给我身心造成很大的伤害 他还逼着我和他见面 我不愿意就来闹事 打电话给我妈 说要抢房子 希望能尽快帮我解决疑问 谢谢