孩子的生活费和孩子应该跟谁一起生活

我对象我们离婚了，他自愿在离婚书上写到每月支付孩子500元生活费从离婚那天到孩子18周岁，可现在他没有给过。我起诉他了，他现在想把孩子要回去，可孩子我不能给他，我和他离婚就是因为他对孩子不打，法管问他为什么不给孩子生活费，他说他现在没有工作也没有收入，给不起，是不是这样孩子就不能给他呀。