离婚后发现孩子不是自己的，怎么讨回损失费？

孩子现在有2岁多了，在去年8月底发现女方背叛男方，有通话记录和短信记录和他们亲自承认为证据，（我追问女方没承认孩子是他们的）而那个男人就是我们租住房子的二房东，也是最好的朋友关系。在9月中旬我们正式协议而离婚，过后，经过查看短信记录验证孩子不是我自己的，想找女方让我跟孩子做亲子鉴定，现在已不跟我联系了，无从解决，请问我该怎么办？如果找女方赔偿损失费她没钱，可以找那个男方要吗？。