我家是农村的，老房子所以要重新拆了建造，要往前面造点。现在我家连着隔壁一共还有另外两家

我家是农村的，老房子所以要重新拆了建造，要往前面造点。现在我家连着隔壁一共还有另外两家。都准备一起重新造。但是当中那一户是之前离婚的了，有一半房子是分给之前的老婆的，但是离婚后那个女的就没有在这里生活过就走了。现在村里就说我们造房子要那个女人的签字，因为我们都往前挪了说万一那个女的回来说挡住他阳光什么的。那个女人已经走了很多年了，第一找不到人，第二找到人她也不会签字的，因为那个人很不好说话。肯定会趁机要求所谓的赔偿的。她那一栋房子还有三分之二是他前夫的，他前夫也要把属于他的拆了重造。现在我们三户人家就因为没有这个女人的签字都不能造，一定要那个女人的签字吗？房子时间太久都漏雨一直…难道就因为没有那个女人的签字就不能造吗？在我们房子一排上二十米的距离还有三栋…人家去年都造好了，只是没有和我们挨着…当中有一二十米的距离，凭什么人家都造了，我们挨着就不能造吗？太不公平了！