帮个忙出个建议

我是2010年离婚的，离婚协议写好小孩（男孩）我带到8岁，归男方接走，中间由男方出抚养费，但在这期间男方从离婚起，只给过几百元抚养费，期间一直不闻不问了，
现在他突然说要把小孩接走，我该怎么办
小孩从小到大都是在我娘家带大的，男方是湖南，我家在湖北，
嫁到他家，他家从不管小孩带下小孩，没办法我才带回我家让我父母带

小孩和他家都没什么感情，小孩上学他家也不帮我出户口证明，小孩现在五岁读书都读不到，他没有对小孩付出什么，现在就这样要接走，如今把一个小孩带到5岁多不容易，就这样被他带走心不甘，男方不给抚养费不说，还要去起诉我，请问这种情况我该怎么办，麻烦你了，
如真的被男方带走，我想向男方要点钱给我妈，不知道可以吗，这个钱可以要多少……谢谢