在案件的侦查、起诉、审判阶段，当事人认为侦查人员、检察人员、审判人员及其他办案人员与案件有利害关系，可能影响公正办理案件的，都可以提出申请，要求该办案人员回避。当然，在刑事诉讼中，并不是当事人一提出申请，办案人员就应当退出办理本案，决定办案人员是否回避应经过一定的程序。办案人员认为自己应当回避，不能随便就退出案件的办理，而要经过一定的程序审批。那么，当事人及其法定代理人提出要求办案人员回避的申请或者办案人员自行提出回避申请后，由谁来决定办案人员是否回避呢？
    在不同的诉讼阶段，对不同的办案人员，决定其是否回避的人或者单位也各不相同。根据法律的规定，在案件的侦查阶段，当事人及其法定代理人申请侦查人员回避或者侦查人员自行提出回避的，由公安机关负责人决定；当事人及其法定代理人申请公安机关负责人回避或者公安机关负责人自行提出回避的，由同级人民检察院检察委员会讨论，按照多数人的意见决定。在案件的审查起诉阶段，当事人及其法定代理人申请检察人员回避或者检察人员自行提出回避的，由人民检察院检察长决定；当事人及其法定代理人申请人民检察院检察长回避或者人民检察院检察长自行提出回避的，由人民检察院检察委员会讨论，按照多数人的意见决定。在案件的审判阶段，当事人及其法定代理人申请审判人员回避或者审判人员自行提出回避的，由人民法院院长决定；当事人及其法定代理人申请人民法院院长回避或者人民法院院长自行提出回避的，由人民法院审判委员会讨论，按照多数人的意见决定。对公安机关负责人是否回避，之所以要由同级人民检察院检察委员会决定，这主要是因为公安机关属于行政机关，实行首长负责制，公安机关的各项工作都由其负责人决定和承担责任，是否回避如果由其本人决定，那么这一程序就成了形式。此外，实践中需要特别注意，书记员、翻译人员和鉴定人的回避，与审判人员的回避一样，应当由人民法院院长决定。刑事诉讼法修改后，对一些刑事案件的审理，曾经发生过一些地方的人民法院审判长或者合议庭直接就作出书记员、翻译人员和鉴定人员的回避决定的情况。出现这种偏差的主要原因是，一些审判人员认为书记员、翻译人员和鉴定人员不是合议庭的组成人员，他们的回避不是什么重要的原则问题，规定由人民法院院长来决定，程序过于繁琐，会影响法庭审理正常、及时地进行。这种做法是不符合法律规定的。书记员、翻译人员和鉴定人员的回避也直接关系到案件的审理结果，也可能影响案件的公正审理。因此，书记员、翻译人员、鉴定人员的回避，直接关系到案件能否公正办理，意义重大，必须严格依照法律规定进行。对于书记员、翻译人员和鉴定人员的回避，不论是决定回避还是不回避，都只能由人民法院院长决定，而不能由审判长或者合议庭直接决定。