建房子的问题

我们村原先1块供销社的土地出卖，总共分成5块宅基地。我家买了其中2块，在乡政府大门边，乡镇府不让我们建高，写函到县里说我们影响他们的光线，只让我们建3层，其实乡政府一大块空地怎么会影响光线。我家旁边离大门远点的批4层，现在他们实际建4层半。我家盖完3层想在多盖半层，乡镇府的人就跑出来说不让我们建，威胁说如果建的话就叫城管来砸。如果我们建了真的会被砸吗？还是罚钱了事？或者我们到县里申请4层会批吗？乡镇府的人绝对会限制我们的情况下。