孩子的抚养权

在没有女儿之前我们订婚了，他给了我家两万，后来和我爸妈吵架要退婚，硬要我爸妈退婚钱，我爸妈不给，后来跑我家里去闹了，还扬言要动手打我妈妈，我妈妈报警了，后来经过协调，我们签了协议书，以后男婚女嫁不相问，退了他一万元，后来，我们瞒着我爸妈又在一起了，有一天他动手打了我，第二天我选择离开他了，当天我检查出我怀孕了，我又打电话给他，他叫我去找他，孩子是在签定协议之前怀的。我去了。后来一直到孩子出生，在坐月子的时候，他妈妈肯本不想照顾我，大概过来20天，她妈妈就走了，他爸爸在我们身边，每天下班回来没有饭吃，就吵架说不给他吃饭，我离出月子还有几天，他就叫我去买菜做饭。后来孩子2个月不到，叫我回我妈妈家里，说外面太热了，叫我回家避暑，回去的时候只给我300元的路费。后来我回家了，孩子6个半月了没有给我一分钱，向他要钱他说没有，要还账，反过来要我给他一点钱，我没有给他，后来孩子七个月了，我说我们分手吧，他就说我找了别人，要我把孩子还给她，我说可以，我叫他自己去我家里带走孩子，他不来，一直都没有来，就这样我们断了联系，后来孩子11个月了，打电话给我说要 见孩子，我给，我说如果相见去法院，他不去，后来就没有联系了，后来我嫁给了我现在的老公，现在孩子2岁了，现在来打扰我的生活，说相见孩子，还去我爸妈上班的地方找过好几次，你说我现在到底应该怎么做才对，我不想我的孩子和这种人一起，他一点责任都没有尽到过，反过来说我的不是，说我不好。请问我现在应该怎么去做？