既然强制履行义务这种法律责任不可行，于是有人提出，根据《民法通则》等法律和司法解释的有关规定，违反忠诚义务的民事责任可以是停止侵害，消除影响、恢复名誉，赔礼道歉乃至精神损害赔偿。初看好像很有道理，但仔细想想发觉不妥。比如，要求法院判决“消除影响、恢复名誉”。本来就是家丑不可外扬，而且这涉及个人隐私问题，这件事到底有没有“影响”，有多大的“影响”，看来还是个问题。而“恢复名誉”就更莫名其妙了。——恢复谁的名誉？显然不是要恢复不忠实一方的名誉，那么就是恢复遵守忠实义务的一方的名誉了。可是这很荒唐，难道说一方配偶的不忠实反而贬损了其配偶的名誉？而“赔礼道歉”这种不痛不痒的责任方式则很难解决不忠实的问题。只有精神损害赔偿这一项，在《婚姻法》中有规定，但那必须是在导致离婚的情形下提出。
    处以民事责任不可行，处以行政责任或者刑事责任于法无据。因为，我国《行政处罚法》实行处罚法定原则，对配偶不忠实的行为不属于被处罚行为。我国《刑法》实行罪刑法定原则，没有所谓的“通奸罪”或“对配偶不忠实罪”。
    强制履行忠实义务不可能，法律责任的配置也不可行，因此，“忠实义务”不宜法定。北京大学婚姻法专家马忆南教授认为：“夫妻忠实”条款不可诉。新婚姻法第4条“夫妻应当互相忠实，互相尊重；家庭成员间应当敬老爱幼，互相帮助，维护平等、和睦、文明的婚姻家庭关系”是一个宣言性的条款，这是新婚姻法的宪法类条款，它本身是不可诉的，这一点专业人士都知道。不能单独以这条规定提起诉讼告妻子或丈夫对自己不忠实，但可以与有关离婚、过错损害赔偿的条款一起援引提起离婚诉讼。[17]另外，这还涉及到性的自由权的问题。性的自由权属于性权利，我国还没有关于性权利的法律。但是从法理上讲，性权利是专属于个人的，它并不因缔结婚姻而受到他人限制。“忠实义务”最重要的一点，即要求保持性的忠实，这其实是对配偶的性权利的一种限制。当然，性权利存在滥用的问题。如果滥用性权利导致犯罪，有刑法处理；或者受行政处罚。而如果滥用性权利进行通奸，目前我国的法律没有明文禁止，这只有寻求利用道德机制来调整这个问题。
    在夫妻相互忠实的问题上，只有靠夫妻双方自己去处理。夫妻可以明确约定：要求配偶互相忠实，一旦发现婚外恋、通奸甚至与他人同居，则可以请求精神损害赔偿，或者作为离婚的理由。