婚姻与孩子

我丈夫和我是在他的家里结的婚，与他父母一起生活，后来小孩出生之后我就回到我自己的家里，孩子是由我父母养的。后来我和婆婆的户口也分开了，我是没有房子，人在娘家住的情况，丈夫基本上没尽过义务抚养孩子也没给过几次抚养金/之后一走了之再没回来过。后来我知道他在外有外遇了，而且我也知道是谁，只是没有去追纠，因为那样反而更伤害自己．孩子一直是由我和我母亲抚养，我们的婚姻关系还没有离婚。法律上是合法夫妻．．他拒不付抚养费，现在人都找不到。小孩的奶奶外出打工回来。他们也没有尽到抚养和赡养的义务．．我明知法院审判也会是由父亲负责抚养可他没踪影。我想既然找不到他，想由他母亲带领养。就是说，我起诉离婚，然后孩子由他家人抚养。可如果他家父母也拒不抚养的话，我该怎么办呢？？我没有条件去养这个孩子，没有房子，没有工作现在的我身上一点积蓄也没有。我哥哥要结婚，我又在自己父母家，难得很。我该怎么办，请你帮助我