被告在行使行政职权时，必须严格在其职权范围内进行。法律、法规或其他规范性文件没有授予其某项职权的，被告就不能行使。广义的规范性文件，应当包括法律、法规、规章及其他规范性文件。但笔者认为在行政诉讼中的规范性文件应当从狭义，即只包括规章及其他规范性文件。因为根据《中华人民共和国行政诉讼法》第五十三条规定：人民法院审理行政案件，依据法律、法规。在现实中，法律、法规有一整套公示、公告制度，是为广大民众所知晓或者应当知晓的，当然人民法院对此更加了解，不需要被告提供。而规章虽然也应当列入社会公知领域为广大民众知晓，但实践中我国没有统一的行政规章公示、公告制度，现实中人民法院都很难掌握各部门的行政规章，更还要说行政相对人。因此需要分管各个领域的行政主体，即行政诉讼的被告予以提供，以供法院参照适用。至于其他规范性文件则更是如此。
　　这里还需要阐明一个观点，被提供的规范性文件不能算是证据。我国三大诉讼法规定的证据类型里均没有规范性文件这一类。笔者认为行政诉讼法将其与被告应当提供的证明事实的证据列在一起是基于立法技术上使法律条文产生某种程度的连贯性考虑，而不是有些学者认为的要将规范性文件“作为证据来规范”。
　　第二、行政诉讼法规定被告应当在法定期限内向法院提交证据材料，也是为了实现“以法治国”、“依法行政”这一大的目标。这要求被告不仅仅要承担举证责任，而且因其收集证据的在先性，要求其应当在较短时间内承担举证责任。
　　《中华人民共和国行政诉讼法》第四十三条的规定：被告应当在收到起诉状副本之日起十日以内向人民法院提交作出具体行政行为的有关材料，并提交答辩状。司法解释的有关部分细化为提交的有关材料包括所有的证据和规范性文件。这些规定的目的显然仍是从规范被告行为的角度考虑的。被告作为行政主体，手握国家行政职能的权力，在作出具体行政行为之前就应当已经具备所有的证据材料和规范性文件。十日的时间已经足以使被告从容地整理这些材料。如果时间留的过长，可能会使行政主体事后补证更有可能，不利于从多个角度对行政主体进行监督和制约。同时也与经济诉讼的原则有悖。因此，规定行政主体在作为行政诉讼的被告时在合理时间内提供证据材料是必要的和适当的。
　　第三、行政诉讼法规定被告在诉讼过程中不得自行向原告和证人收集证据也是必要的。
　　根据《中华人民共和国行政诉讼法》第三十三条的规定，在诉讼过程中，被告（及其代理人）不得自行向原告和证人收集证据。根据有关律法规，被告在作出具体行政行为时应当有确定的事实根据及明确的法律依据，否则具体行政行为就失去了基础。而确定的事实根据必须事前就已经有充分的证据能够证实，如果被告在诉讼进程中才开始收集证据，说明其作出具体行政行为时的事实根据尚处于一种不确定的模糊状态，其作出的具体行政行为的合法性就值得怀疑。如果允许被告在诉讼过程中收集证据，显然不利于对被告在诉讼过程中收集证据，显然不利于对行政主体的行为进行监督和规范，不利于“以法治国”、“依法行政”等一系列政治、法律目标的实现。
　　五、被告承担举证责任后，会引起人民法院对被告所举证据的二次认定和对被告所依据法律的二次适用。
　　被告在作出具体行政行为前，必然要就事实收集证据。当证据有了相当的数量时，被告就会对其中能够证明事实的进行采用，这样就产生了对证据的认定，这一认定是被告作出具体行政行为时的认定，相对于人民法院在行政诉讼中的认定是在先的，所以可以称之为第一次认定。然而就同样的证据，被告认为能够作为作出具体行政行为所依赖事实的证据，人民法院却不一定与被告作出同样的认定，所以就产生了人民法院对经过被告认定的证据进行二次认定的音量。笔者将这种就同一形式、内容和相同数量的证据，在经过行政机关认定后又由人民法院重新审查认定的活动叫做证据的二次认定。人民法院应当对被告所提供证据的真实性、全面性、系统性、逻辑性进行充分地审查，如果发现被告提供的证据中有不真实的，当然不能进行认定。同时，如果发现被告提供的证据不全面，不能形成一个完整的证据锁链，或者不能完整清晰的证明案件事实，也一样不能进行认定。还有，即使被告所提供的证据真实客观，能够完整清晰的证明案件事实，但是该证据不是以法定程序取得，也是不能进行认定的。这样，通过对被告提供证据的二次认定，严格规范了被告在行使职权时的行为，实现了行政诉讼法立法的目的。