证据的合法性在各国不同的法系有不同的界定。大陆法系国家将证据的合法性称为证据能力，即一定的证据材料能否成为证明案件待证事实的证据的资格，这种资格是法律所赋予的，所以证据能是证据的法律属性。

民事诉讼法中，证据的合法性表现为：作为定案依据的证据必须具有合法性的来源，合法的形式，由合法的主体通过合法的途径方法收集，并经依法查证、核实与判断。民事诉讼法第63条第2款规定，证据必须查证属实，才能作为认定事实的依据。第64条第3款规定：“人民法院应当按照法定程序，全面、可观地审查核实证据。”这些都是关于证据合法性要件的规定。民事诉讼中，对于证据收集合法性的要求有一个发展变化的过程，这个过程主要通过两个司法解释体现出来，具体落实在录音资料这一证据种类上。

行政诉讼中，关于证据的合法性规定与民事诉讼中的规定相同。最高人民法院在