政府强征农村土地

前两年政府说要在公路边上的一片土地上建农贸市场，跟我家协商用我家土地中的一小部分作为市场出口的道路，我家当时口头同意，没有签字，同时我家在剩余的土地上建了一栋房子（原想做点买卖），这样就形成了房子的四邻界上，原本是自家土地的，城建规划部门在绘图的时候就备注了大路，不然不批，我家当时在申请资料上也只能签字，现在市场不搞了，变成了租给人家办工厂，考虑到自身利益，我家现在不想出让原来口头同意作为路的那小块土地，但是现在政府以我家申请建房子的资料上对于备注了大路的情况我家已签字确认为由，要强行以7万元/亩收掉原属于我家的土地，政府的这个理由是否合法，或者是否可以以政府原本的征地程序不合法，或者政府现实际用途与原来征地时不符骗取征收为由不给政府用地？请律师们指点迷津！