媒人介绍，我哥和嫂子结婚了，结婚证领了。要求彩礼15万。领结婚证时给了10万。5万后续给，当要给后续

媒人介绍，我哥和嫂子结婚了，结婚证领了。要求彩礼15万。领结婚证时给了10万。5万后续给，当要给后续的5万时，嫂子爷爷去世。（嫂子父亲不在人世，母亲改嫁，从小爷爷奶奶照顾，还有个叔叔）之前的10万给的她爷爷的。哥和嫂子结婚后就仅仅同房睡过几天，16年过年也不来我家。年后女方不愿共同生活，期间和他叔叔和嫂子协商，两人若同意一起过，还差的5万彩礼就给上。若不同意就离婚。男方等女方回答，女方一直不表态，也不愿共同生活，现在各自异地打工也不联系。结婚后才得知嫂子之前和另个男的结婚后也不跟别人过离婚了。现在的问题是女方不愿和男方过共同生活，一直不表态也不愿离婚，一直拖着有快一年了。请问我哥该怎么办，要求离婚，彩礼还能还给男方么？都是女方不愿和男的过，然后不表态一直拖着。