2012年本人与男方未办理结婚证，只是办了婚礼仪式，同居至2016年生有一子一女

2012年本人与男方未办理结婚证，只是办了婚礼仪式，同居至2016年生有一子一女。与男方同居期间感情很差，男方不务正业，2015年因诈骗罪入狱服刑2年。本人于2016年向法院提起诉讼，起诉原因同居生子抚养纠纷。法院判决儿子归男方抚养，女儿归我抚养。可是男方服刑期间他家人不给孩子，将孩子藏了起来。联系他们的时候是通过电话，他们态度恶劣，肆意谩骂，我连大人的面都没见上，最终我做出了退步。自2016年后，我就一直在外地打工，期间托人给孩子带过生活用品及衣物。2018年男方刑满释放后，多次来我家里，因我家里无人，还去过我舅舅家（来我家原因大概就是找我或者要钱）。2019年春节刚到，男方同他哥哥来我家说法院要求他们带我去给女儿办理户口登记。并提出说儿子患有先天性智障，意在让我共同抚养。（而且暗示我女儿也要归他抚养）。还说女儿他们养了这么长时间也不是白养的。事情经过大概就是这样，男方前前后后已经折腾我这么多年了，我的青春早就不在了，我还得考虑后半辈子的事情，所以我只想把这个问题解决清楚，希望男方以后不再打扰我的生活，就此问题我该向法院提起诉讼还是该怎么办？