小孩子收养纠纷

我是江西乐平的由于身体原因我夫妻不能要小孩。在我们当地农村有一个女的外地打工与一万年男子（据女的说）生了个私生子因无力抚养通过中间人找到我说我家条件好给小孩给我收养。当时小孩是在外婆家带有四个月大。小孩的外婆、外公和其亲身母亲来和我家人谈的。第一次把小孩给了我，我给了他们16000元作为小孩四个月的抚养费，并让他们写了送养声明。但当时小孩母亲说不忍心就先走了让其姐姐代签字。后来我们家带了小孩十三天，他母亲说舍不得孩子。我们就送回去，钱给还了我们。可三天后小孩母亲及外婆说小孩认人，也实在没能力抚养。又真心想送我们。后来我们两家又座下来达成约定。小孩子由我们收养，孩子母亲当场签定了送养声明。我们也现场和他们说录了音。送养声明明确表示小孩生母放弃抚养权，不要回小孩子，不探视，不打扰我家正常生活，不与小孩发生任何关系。如果违反除给与我抚养期间抚养费用及一切开支处，赔偿精神损失二十万。另外也表示这个事她与身在外地的私生子生父说了已达成一致同意送养，并且我们也通了话。（此事在声明中已注明，据称该男子有老婆家庭生有一男一女）。一切定下来我们就把抚养费又给了她，人我们带回来。接下来我们就精心照顾小孩子，给他最好抚养，花了很大人力精力物力我老婆也辞职还到外地（怕来找人）带人。带了近四个月，可前几天忽然有一个陌生男子来我们当地公安机关报案告小孩外婆拐卖了他的小孩，要求要回小孩子。公安机关在确认我们是收养关系后表示不理会，告诉了我的个人基本信息（包括姓名单位家庭住址）给他，让我和男的私下谈达成一致。
  现在这个事我很被动，真不知道怎么处理。当初是他们家死活要我们要孩子，而且送了两次，我们还达成了协议。可现在我的亲朋好友都默认了我的小孩子，也上了户口，我们也很喜欢这个小孩，用了很多感情财力人力。我现在想我并不认识这个男的，这个男的也并没有任何证明说明他是孩子父亲。他是已婚之人，与那个女的没有结婚证明没有出生证明没有户口，只是在外面乱搞的结果。这个男的我们侧面打听就是个无赖，就是要钱他也无意中表示他根本不会要孩子，是想拿孩子去发达地方卖钱，他就是要钱。
  现在那个男的打电话给我要谈，我一家人都烦死。我想孩子我们不会再要了，因为碰到这样无赖我们没办法正常生活。那个男的要求我和他谈，我是不会谈的一他没法证明他身份。二我从没和他见面。具体我只能和孩子母亲与外婆谈。现在我们意思是人你可以带走可你要赔偿我们损失。我们协议说好除一切开支外还要赔偿我二十万精神损失。我家目前已在孩子身上花费差不多近五万元。我们能主张吗。还有其它更好的办法吗。