双方已经协议离婚，协议上写明孩子由我抚养，但孩子父亲一直威胁要争夺抚养权

我们是上个月去民政局签字离婚的，孩子目前2岁8个月，离婚协议上写明归我抚养，孩子的父亲却三天两头找各种理由说孩子跟我不好，现在只是暂时放在我这，等他有钱了，就会跟我争夺孩子的抚养权。我们已经分居2年，孩子一直跟谁我和我妈生活，我们已经分居2年。我10岁父亲去世，所以我是单亲家庭，但是我妈有退休金，我们有自己的住房。他的父母健在，但是2人都没有退休金。他家有2处房产，但都是他父亲名下。我没有不良嗜好，每天上班下班回家就照顾孩子，每周都有双休，一直陪着孩子。他也有双休。他曾经喝醉酒在我家门口发酒疯撞门，骂人，邻居有二三十个人看到。请问这种情况他起诉我的话，孩子会被他抢走吗？