关于退还彩礼

本人（男，26岁）在2010年经媒人介绍认识了一个女孩，后来成为男女朋友，谈了大概有半年，便订婚了。订婚前，该女孩用钱一直大手大脚，且性格上也不合适，经常为一点小事争吵，感情不是很稳定。但是我当时出于对方上班方便的原因，便让女方住到我家，另一方面也容易培养感情。不久后，在双方大人的催促下，我们便订了婚，由于乡下习俗，给对方的彩礼是10万8，对方还礼8000，后用彩礼购买了两台电视机，用去大约2万左右。当初我想订婚后可能会好点，于是一直对女方处于观察阶段，以为时间长了能培养出感情。一方面我们认识的时间不是很长，另一方面彼此感情不够深，所以虽然我们住在一起，但没有发生过肢体关系。本来连结婚的日子都看好了，我一直以为虽然订婚起不到促进感情的作用，但结婚后还是会好的。但是由于双方性格不合，吵架次数越来越多，感情越来越淡化，最后女方辞掉工作后，便不住我家，回自己家住。这样我们的关系就越来越淡。我觉得这样拖下去没有意义，于是我提出分手。但由于双方家长的作用，谈判了几次，最终还是以分手告终。
现在的问题是：因为彼此性格不合，我主动提出了分手。女方其实对我也已经没有感情了，但是又怕退还彩礼，所以女方一直拖延时间。后来我实在不想再拖延时间，就提出分手。现在我提出要女方退还彩礼，但女方坚持不肯退还。遇到这样的情况我是否可以要回彩礼？具体该怎么做？