自我爷爷建的4间房子，临终前四儿子一人分得一间房，我爸爸在我几岁的时候去世了

自我爷爷建的4间房子，临终前四儿子一人分得一间房，我爸爸在我几岁的时候去世了，我从小就在外婆家长大，现已到了成家年龄，想回家建房，老房子现已是危房（是滑坡地质，不允许在原有基础上老翻新并且）。当时我找村干部说明原因，想回家建房，在村干部的帮助下在我家干田（因为没水已经至少有十年没耕田了）和兑换村民的土地建房，当时我们打了申请给村委，村委回应因我家自小没爹，老房又是危房，两兄弟要成家等情况允许我们建房，村干部联系国土所领导到建房基地看，当时就说这是农田不能建房，看其它地方有土地没？村干部说明情况，这田因为没水已有十年没耕了，在其它地方兑换土地更是难上加难，看他们孤儿寡母也可怜，只靠领导发发慈悲，晚上请各位吃饭。吃完饭后，我买单（一千多），村干部说可以动工了。我们就在2014年2月开始打基脚，4月刚好打完基脚，国土所领导要我去国土所，要我马上停工，并问了材料。要我回家等消息，一直到11月19日村长打电话说要我按违章建筑罚款处理算了，我同意了，11月21日国土所到工地量了面积共356平方米（我和弟弟两个在一起建两户），到国土所办理手续，国土所领导说面积大原则上是不允许的，你们村干部也和我们说了情况特殊，基础也打好了，就按罚款处理，按360平米算罚21900元，要我下午带钱去交。我想问这样程序可以吗？按违章建筑罚款处理应该怎么罚？21900元巨额罚款我们根本承受不了，我们又该如何走程序？