尊敬的律师们好，我有个问题想咨询下，我是一个已婚的男人，和另外一个已婚女人暧昧已经两年了

尊敬的律师们好，我有个问题想咨询下，我是一个已婚的男人，和另外一个已婚女人暧昧已经两年了，在这两年期间，我们发生过好多次性关系，我也花过好多钱给她买这个买那个，每个周五还会照我们约定好的给她发188红包，她每次有空了主动联系我，我们一起吃饭，去安静的地方坐坐，在这期间，她老公无意间在他家发现了一次家里来过陌生人的痕迹，但那都是好久前的事了，从那以后我再没去过他家，都是她来我家，也没有主动发过信息，最近她老公或许看到我们微信的聊天信息，我们微信上也没说啥，就说些吃饭了没，冷不冷之类的话，她老公说的要告我入室强奸罪，我都四五个月没去过她家了，而且他也没有证据证明我进他家了，更没有证据说我们在她家发生过性关系，我想问一下他老公告我这罪名成立么？不成立我是不是可以反诉他诽谤呢？如果要论强奸罪，那也都发生过好多次性关系了呀，而且她也是自愿的，我没有逼迫她，如果她要不认，说我强奸我又该怎么保护自己的权益，我也不知道怎么办，希望你们能给我分析下，解答下，他还有什么可以告我的罪名，我又该怎么做才可以保护自己，万分感谢期盼你们的回复