政府行为导致的工业用地违建厂房

2003年我们厂在街道政府那以15万元（包括办土地证）每亩购进8亩工业用地，在2005年的时候街道政府告诉我们，房产证暂时办不下来，退还给我们7万元每亩，并书面协议确认协助我们办理土地证。
我们在2005年在规划局办了规划图，就投资办厂房，并于2005年年底落成营业。
之后几年，城管部门也来找过，说是违建，要罚钱，后来我们拿出街道政府给的书面购地协议，城管也就不了了之。
直到2014年，全市大搞三改一拆，我们的厂房被定性为违章建筑，需要交纳40多万元每亩的费用。 我们承认我们没有房产证，但这是由于政府行为导致的，现在办证的费用比2003年高了这么多，这过错由谁来买单。