行政機關作出行政處罰決定決定後，如果想撤銷行政處罰決定，應該向行政處罰相對人出具撤銷行政處罰決定書。行政行爲撤銷的條件：
（1）行政行爲合法要件缺損。合法的行政行爲具備主體合法、內容合法、程序合法三要素，任何行政行爲如缺損其中一個或一個以上要件，該行政行爲就是可撤銷的行政行爲。
（2）行政行爲不適當。不適當的行政行爲也是可撤銷的行政行爲。所謂“不適當”，是指相應行政行爲不合理、不公正、不符合現行政策、不合時宜、不符合有關善良風俗等情形。
《中華人民共和國行政處罰法》
第五十四條行政機關應當建立健全對行政處罰的監督制度。縣級以上人民政府應當加強對行政處罰的監督檢查。
公民、法人或者其他組織對行政機關作出的行政處罰，有權申訴或者檢舉；行政機關應當認真審查，發現行政處罰有錯誤的，應當主動改正。
第五十五條行政機關實施行政處罰，有下列情形之一的，由上級行政機關或者有關部門責令改正，可以對直接負責的主管人員和其他直接責任人員依法給予行政處分：
（一）沒有法定的行政處罰依據的；
（二）擅自改變行政處罰種類、幅度的；
（三）違反法定的行政處罰程序的；
（四）違反本法第十八條關於委託處罰的規定的。
