不合法的男女关系所生的孩子,我们从女方抱养,当时男方不要,现在提出要孩子怎么办的

我在2014年1月6号抱养一女孩，通过朋友介绍得知有一要送人的女性，我们联系后，双方互相了解情况。我和妻子05年结婚一直没有孩子，医院诊断没有生育能力，有抚养孩子的能力；对方是未婚生了孩子（后来确认，其实对方都有婚姻，双方都没有离婚。）。抱养孩子时，我们跟女方写了抚养协议（没有到民政局办理），因为当时生孩子时，男方不管（女方有男方电话录音，男方现在有一个女孩，他母亲给带着。）。当时办理住院手续时，以我妻子名义住的医院（女方同意），这样做考虑孩子的上户问题，现在孩子的户口在我们户上。现在，男方报警要求要抱回孩子，孩子的生母继续履行和我们的协议，我们也想继续抚养孩子，请问律师我们该怎样争取？现在协商不了，6月16号说好的事情他们变了（我们给2万，他们也答应了，但办手续却不是当事人，是他母亲和弟弟，所以刑警队不同意），起诉怎么操作？可以帮我打这场官司吗？（当事人属于胡搅蛮缠一类人，）