你好，结婚四个月，刚开始女方去了男方家生活在一起，由于男方家庭成员太多

你好，结婚四个月，刚开始女方去了男方家生活在一起，由于男方家庭成员太多，太复杂，严重干涉到两个人的私生活，女方受不了回了自己家去住，中途反反复复去过男方家，最近有一个月没去，但男方来过女方家，也同房过。但是最终男方并不愿意这样，还是喊女方去他家，可是他家家庭成员比较多，叫他单独出来租房他也不愿意，就要求女方过去，谈不好导致双方感情破裂。现在谈到离婚，以女方没有去男方家居住为理由要求退还彩礼其中两万元，请问这样子该怎么办。