当事人申请暂缓或分期履行罚款义务的程序是：受处罚的当事人确有经济困难，需要延期或者分期缴纳罚款的，应当向作出罚款决定的行政机关提出申请，阐述不能按期缴纳罚款的原因和理由，并提出申请延期的期限或者需分几次缴纳罚款。行政机关在收到当事人的申请后，应当进行严格审查，调查当事人目前的财产状况，从而确定其是否有履行罚款的能力。如果行政机关经过审查，认为当事人的申请理由不成立的，予以驳回申请；认为申请理由成立的，应作出批准允许延期或者分期缴纳的决定。行政机关作出批准延期或分期缴纳罚款的决定后，应当制作决定书，银行依照行政机关的决定收缴罚款。