农村承包地建房问题

我是河北农村的，是这样的我家在村里花钱买了一块土地盖了楼房，村内有人像当地土地局告我家房子违建，（村内像我家这种情况的房子有几十户，都是没有手续跟大队交了钱就盖的，土地局说民不举官不究。）最后土地局开出了处罚一万三千元的处罚决定，还说只要我家签字了这个钱不交也可以，只是表面说罚私底下不用交，我想请问一下律师这个字我家可以不签吗，是不是签了以后钱必须交，如果不签也没事呢。