彩礼问题

律师您好：
    早在2008年至2010年我经人介绍与一女相处，相处数月后订婚，自订婚后女方一直在我家居住。我方给女方21800彩礼，当时有见证人。就在距婚约还有一个月时，期间是因为我与女有一点摩擦，女方提出与我分手，退婚。经双方家庭协商，同意女方提出的退婚。但是女方要扣留1万彩礼，说是他闺女在我家跟我同居应得的补偿。经多次要求返还，还要经双方村委调节，但女方父母说经村委的话一分都不给我退。
    这件事一直在我心里不舒服，女方提出分手且扣留我1万元彩礼，女方父母说他闺女在我家居住，就污蔑我控制他闺女1年多，我与女方家庭住址步行间隔10分钟路程，我为何控制她？将来要结婚的何来控制说法？
    我想问问，直到现在我还是心里不甘心，我家庭也不富裕为何扣留我1万元？现在我还想把1万元要回，请问我可以直接全权委托律师吗？至于彩礼款额多少，退还多少，都有证据也有见证人（媒婆）。