在行政复议或者行政诉讼期间，不停止行政机关的行政处罚决定的执行，这是一个一般性的原则。但在特殊情况下，复议机关和人民法院也可以作出停止执行的裁定。根据行政复议条例和行政诉讼法的规定，这些特殊情况包括：
    1．行政机关认为需要停止执行的。行政机关作出处罚决定后，被处罚人不服，向复议机关或人民法院提起行政复议或行政诉讼，这时行政机关认识到自己作出的处罚决定有明显的违法、不当或者其他原因，继续执行不仅会给被处罚人造成损失甚至是无法挽回的损失，而且会造成人力、物力的浪费，损害行政机关的威信，所以需要停止处罚决定的执行。
    2．复议机关或人民法院裁定停止执行的。这种情况必须具备以下条件：（1）由当事人向复议机关、人民法院提出停止执行的申请；（2）行政处罚决定的执行会给当事人造成难以弥补的损失。例如，根据处罚决定，行政机关将没收并销毁被处罚人的某些财物，这样一旦执行了处罚决定，当事人的这些财物就不会再有，即使当事人胜诉，也无法再得到；（3）停止执行不损害社会公共利益的。换句话说，如停止执行会损害社会公共利益，则不能停止执行。如有的带有病菌的动、植物品必须要及时处理，否则一旦传播开来，后果不堪设想，这样的处罚决定（没收并销毁）就不能停止执行。有的物品不及时处理对社会并不构成危害，就可以停止执行；（4）由复议机关、人民法院作出裁定停止执行。
    3．法律、法规规定可以停止执行的。我国有些法律、法规、规章作了停止执行的规定，在行政复议或行政诉讼中就可依照规定办理。例如，治安管理处罚条例规定，被裁决拘留的人或者他的家属能够找到担保人或者按照规定交纳保证金的，在申诉和诉讼期间，原裁决暂缓执行，就是说，只要当事人或其家属交纳保证金或提供担保，在行政复议或者行政诉讼期间，可以停止执行行政拘留的处罚决定。