要求 要回孩子抚养权

我是2014年3月离婚的，但是在此以前，2013年孩子他妈妈已经一年未归家，我在无奈之下只有在2014年同意跟他妈妈离婚，我们有一个男孩现已经7岁了，当时在签订离婚协议时，是孩子由她母亲抚养的，我承担抚养费，但由于孩子妈妈一直不方便带孩子，所以孩子一直我带着，到如今已经3年了，她妈妈没有承担抚养义务，也没有给抚养费。就在2016年4月，我跟他妈妈协商，将孩子的抚养权转让给我时，她那边不同意，并提出支付500块钱一个月的抚养费给我作为履行抚养义务。我现在要求将孩子我抚养，并以后不要她妈妈出抚养费，这事该怎么办好？{孩子妈妈是电信公司的，现在找了一个男的，那边男方听说离婚的，有小孩，她妈妈也没有跟他有正式的结婚}