22年前村里划分的宅基地，现在政府说是良田，求问其中的法律责任

算是历史遗留问题，我有一块地，原本是田，在1996年村里划分给我做宅地基的，有22年时间背景和大批人证，当时因为没钱就一直没做，一直没有种植，算是一块荒地吧，并且这么多年的良田补助也没有给我，现在准备做房子，但是政府说这块地的性质是良田。我们找村里找镇里，他们的意思算是私底下默认让我们做，但是没有建房证，现在有人上告，政府又不准做要拆除，房子已经做到一层楼墙高了。找政府就是拖，要么就说我们违建违法，我想咨询下，这其中法律部分的逻辑。第一：这是良田还是荒地（20年没有种植，多年没有给我良田应该有的良田补助。村里多年前划给我们做宅地基的，全村签字）（政府说多年卫星拍照政府内部的定性是良田）。第二：在没有取得建房证的情况下施工了肯定是属于违建了，但是是不是要考虑政府对历史遗留问题不取证不调查，一味采取拖延不管不顾的失责行为，去年就开始跟村里上报。今年4月动工，5月左右下过一次停建通知，这次村里铺设自来水，建筑材料堆积在路旁施工，村里干部大队书记等要求我们做完这点堆积的材料，刚施工2天执法大队又来了。第三：在我们镇里有很多人把房子做在可能上半年还在种植的水田里，送礼没有拿到建房证的多，镇政府怕我们上告市里省纪委省巡视组，现在是一种僵持的状态，政府不敢来拆我们的房子，我们也不敢继续做！现在我也拿政府没办法，托着不算个事，想把这个事情闹大了搞，麻烦诸位专业人士，结合我上面说的，帮我说明下其中的法律责任