有一个村，这个村里的人都没有房产证，具体原因，我已不知晓，B居民在多年以前生产队分地的时候分到一区地，作为宅基地，可是B居民对一区地不满意，一区是荒地，要求调换，干部给换了，换成了二区，B居民把二区卖给了自己的亲戚，这时，地都分完了，A居民才来，分给A居民几处地但都不是宅基地，于是就把分剩的一区荒地给了A居民，A居民在此盖了房子，当然是没有房产证的，但是有门牌号，多年以后（至少20年），A居民要在一区重建房子，把原来的拆掉，可是B居民不愿意，说那地是他的，当时换的时候，二区比一区少了一点，但是B居民同意了，多年以后，觊觎A居民的地，却说此地原来分给他的，不让A居民在此建房，纠纷出现了，请问这块地是谁的？如何在法律上说得通？？
----------------------------------------问题补充：--------------------------------------------------
PS，A居民在本村无权无势，B居民有权有势，有欺负A居民之嫌，A居民想诉诸法律，但是小农意识很强，怕事。