农村责任田违章建筑处罚

县里两年前开始有人在农村责任田中建房，但政府并不管理，导致之后陆续有其他村民及政府人员，并且村中无水耕种，政府也不批宅基地，农田荒芜，村民无房然而在建房。政府知道村民建房并不管理，并且还有很多政府官员在建，不懂法的老百姓继不知道是不3是违法继续建房，直到房建好后突然被政府说违法，强制拆去了，并且还是一小部分，那些政府官员建的房并未拆去，而是选择拆去没权没势的村民的，部分村民把一身的积蓄都投入进去，这个拆去几乎把一个家毁了，，政府这么做是多么不公平。开始也没人来管理，宣传土地法，最后然这部分村民损失惨重。拆去违章建筑也是对的，但是为什么只是部分人被拆除，法律不是讲究公平，为什么当官的建的就不违法呢？那些村民怎么办