工商罚款我该交吗

我是一个个体工商户，因店面搬迁拿着齐全的手续到工商部门换新的工商执照，可工商部门说，我的 品牌授权书 发下来之后没有及时去工商部门去变更，还有就是地址搬迁没有及时通知他们。因此要对我罚款五千元。我觉得很很委屈。 1，我诚信守法，各种证件都齐全才去换证。2去年的品牌授权书过期，新的授权书到手后要去工商部门及时变更， 工商也没告知过我要及时换，连个整改的期限都没有，上来就罚款，我们个体户也不容易。3还有就是我也知道现在有好多个体户都不办证也没人管，我手续齐全，守法去办证却要罚我，我该怎么办。