关于收养弃婴与家庭纠纷案子

今年三月捡到一名弃婴，家里人都十分的喜欢，准备收养，办理收养手续。可是后来弃婴家里的人来找，说是儿媳妇和儿子吵架把孩子扔掉了，爷爷要抱回去，于今天下午抱走。我认为在他们已经遗弃孩子之后，是我们在收养，对孩子好，他们只生了孩子并没有照顾孩子，据有经验的妇女说，捡到孩子的时候孩子最多只有两三天。所以一直是我们在照顾。我认为，既然他们将孩子遗弃，我们收养了孩子，尽管没有办理手续，但于情于理都孩子应该是我们。而且我认为或许未来夫妻打架会伤及孩子甚至虐待孩子，与其那样，不如找一个好的家庭收养。我的问题是，对于这样的情况，我们可不可以吧孩子要回来？