没结婚的一对半路夫妻，还能通过法律途径要回彩礼钱吗

2012年阴历正月初五经人介绍找了个女朋友，结果找了个大骗子：刚见面时说的挺好，各自都有一个孩子，为了给孩子以后上学咱点钱，不要那么多讲究，只要双方父母同意，两个人就自己定个日子简简单单把婚事给办了。结果女方母女三人到男方家时，双方父母都无意见；于是男方父母就拿出了6000元钱给了女方，并用一张纸写明这6000元钱包括哪些项目（见面钱、衣服钱、、、）并约定今年阴历4月份结婚。可是当女方拿到钱后，周末再到男方家时总是以各种理由要东西。如果给了，会很高兴，下周还来，如果不给就甩脸子、教唆孩子挑事端。最后达成了协议，女方分两次退还男方直接给的6000钱，其他费用男方不计较了。说是女方来送，结果，女方又反悔了，不送了，要男方自己去她家拿。男方与媒人都怕女方会借故伤害男方。不知这样的事情可否通过法律途径解决？如何走法律途径？谢谢！ 补充：只有协议退款的协议和整个事件的证人（媒人）