双方离婚后一开始是男方看男孩女方看女孩，后来男方来家闹把女孩也带走了

双方离婚后一开始是男方看男孩女方看女孩，后来男方来家闹把女孩也带走了，带走以后当时还签了字按了手印，说以后男方和俩个孩任何关系都没有，男方走以后好长时间没见过孩，女方就结婚了，结婚对象没有过婚史，姥姥想孩就就把孩接到家看看了就送回了，现在这俩个孩他奶奶看男孩爷爷看女孩，奶奶打电话说有事叫姥姥去接男孩，姥姥呢天把男孩女孩都接到了家当天晚上爸爸就来家脑事了，还经过了派出所，最后姥姥早上把俩孩送走了，送的时候孩子的爷爷不要女孩了光要男孩，姥姥说当时说好的你现在说不要就不要了，姥姥还是把孩都丢呢了，现在还子的爸爸也没管过孩都是他爸妈看了，男方现在想起诉女方家叫女方家抚养女孩，现在女方已经结过婚了,接婚的男的接受不了孩，姥姥说就算判下了我会抚养，姥姥怕毁了自己闺女的幸福，还没判了，现在姥姥是给他儿子和儿媳还有俩个孙子主在一起，儿媳也接受不了，为这是在家闹了不可开交，就像这样的事情姥姥应不应该管，想这样的是判谁的多，男方家也不是不要他就是不想叫女方家过好拿孩做要挟，怎样才能判给男方，之前签的协议管用吗，用处大吗能不能打赢官司呢