退婚彩礼钱问题和怎么收集证据

我弟经亲戚介绍交了亲戚家的侄女，订婚花了3万彩礼，3样金。订婚宴花掉的就不说了。可是期间1年多的时间里，女方根本心没在男方，眼里只有钱，从来没嘘寒问暖过，更没有给男方洗过一个袜子。都是成年人，不工作，出手要钱，先后光现金就1万左右。不包括吃穿用等等。现在女方疑似外面有人，和别的男人玩暧昧，我弟知道了，也同她父母说过。还以为能改，没想到她自己提出分手。可现在女方只肯退回1.5万,说是双方都有过错?我们肯定是不同意的，女方妈就开始耍赖，介绍人是双方亲戚，她不想得罪女方，就不帮男方，所以女方什么污蔑的话都敢讲，还很有道理似的，说要什么青春损失费，什么话都敢讲，还说不怕你闹，不怕你告。现在我们要怎么收集证据，如何和平的私下调解。我们男方想彩礼金子还给我们就不追究其他的。女方不同意的话，只能去法院告了。