未婚同居并育一小孩协议分手

双方系未婚同居，并育有一孩子，期间女方多次催男方办法结婚手续均未理，后来女方无奈协议分手，并签订协议，内容如下：
一，双方一致同意结束同居关系，女方同意年底搬出目前居住房屋，今后各自生活
二，双方一致同意孩子随女方生活，男方首次支付女方安家费和孩子二年抚养费10万整，第三年开始，男方每年支付女方孩子抚养2万无，并到孩子十八周岁
双方在签订这些协议之前，男方曾口头承诺女方，就算分开也不会不管孩子生活并尽作为父亲的责任义务，并要帮助女方把孩子带大一点，但是没有书面证明
结果现在男方根本不闻不问，一点父亲的义务都没有尽到，女方想把孩子返还给男方
请问，第一，如果现在孩子给男方，他不要怎么办？
第二，之前男方给予女方的安家费及孩子抚养费十万元需要全部返还么？既然是结束同居关系，给女方的安家费需要返还么？
第三，这种情况，女方完全没有权力去讨还公道么？