领证结婚后同居但没有性生活，离婚时彩礼怎么办

2011年8月份认识，2012年2月订婚，订婚时男方给付订金16000元，并给女方买金饰并计价值4000元；2012年12月，男方给付彩礼10000元，男女双方各给对方买了几件结婚衣服，男方付钱拍了结婚照，不久领了结婚证，2013年1月3日举行婚礼，婚礼当天男方给女方各种上车费改口费等等大约有三千多元。举行婚礼的费用，在男方家的由男方付，女方家的由女方付。订婚到结婚期间，男方父母到女方家走亲戚几次，每次礼物大约价值300元，除此之外，男方几乎没有再为女方花过什么钱。女方陪嫁嫁妆大约价值8000元。各种费都没有发票收据等证据。
1月3日婚礼，当天女方刚好例假，没有性生活，1月6日男女双方各自返回自己工作地，女方开始寻找租房准备等男方前去一起工作生活。1月15日左右，两人在电话中发生严重争执。2月5日春节放假回家团聚，2月15日假期结束再次分居；2月25日男方到女方工作地打工，4月28日两人租房同住。由于两人因为生活琐碎问题矛盾不断，7月份男方返回老家，打算离婚。两人一直没有性生活，因为女方不同意。

问题：双方都同意离婚，但是对彩礼返还多少有异议，请问按照法律该怎么解决？