两个都是法定结婚年龄的残疾人，说明一点两人都不是智障，是在两家大人同意的情况下结的婚，婚龄刚到一年，男方出了好多彩礼。结婚后女方不回婆家，男方家没有家庭暴力，男方家也请过多次，就只有女方母亲说不回婆家也不说原因，女方不识字，只是是通过家里人发短信给男方说不过了，也不主动来婆家商议办理离婚收续，只是托，应该怎么处理？
----------------------------------------问题补充：--------------------------------------------------
男方也不想强求过日子，又不能主动提出离婚，害怕那么多的彩礼就打水漂了。