1985年乡公办卖给我村个人一座历史遗留老房子，庙屋，三间正房

1985年乡公办卖给我村个人一座历史遗留老房子，庙屋，三间正房，二间平方，附言是乡农机厂自建房，2000年那个人把那座老房子转卖给了我们，2004年由于我们办厂需要，我们审批翻建那老房子，2005年3月当地土管所已发土地使用证给我们了，用途是辅房。后来由于邻居以滴水问题去上告我们，因为原来邻居是侧房，他们靠着我们正房的，我们翻建后呢也没有留滴水，所以上告了，由于邻居的女婿是越南战争的一等功，那时县里乡里都十分重视和关照他们这些大功臣的，所以乡里为了平息那一等功臣不上告，给我们以未审批先翻建的条例给予罚款，并叫我们在房顶上整改滴水问题。我们房子一直以厂房在使用的。。可现在，我村有一个一字一议的工程要搞着我们的房子，现在村里与乡里以四个理由：一，说我们一户多宅，二，说辅房最多不能超过40平方，而我们现在是121,72平方了，三，说我们改变用途，四，说我们罚款后没有去确权，以这四个理由说我们是违章建筑，现在要进行强制拆迁，补偿问题以最低250一平方来对比给我们，请问律师：他们这样做合理吗？我们是否真的变违章建筑了？