前面因男方谎称自己已离婚，后面便开始交往并同居一起生活，期间还像女方借款65万元

前面因男方谎称自己已离婚，后面便开始交往并同居一起生活，期间还像女方借款65万元！后面女方知道南方并未离婚，要求男方还欠自己的钱并且分手，可男方不但未还钱还要挟女方，如女方执意要分手就不还钱并且以女方家人的人身安全做要挟！用此两人在一起生活有两年多，在此期间，两人经常吵架，还曾因吵架而惊动过派出所！最后两人分手，并写了分手协议！两人签了字，按了手印，上面还有在场的见证人签字！分手协议的内容如下：
                               分手协议
    关于Xx与XX于2014.3认识，于同年6月份以谈朋友的方式生活在一起，在此期间双方发现各自性格不合，于2016、5.12双方提出分手，在分手期间和以后双方不得以任何借口干涉各自的正常生活，如有一方违约，所造成的一切损失由谁负责。此协议一式两份，双方各执一份！
在场人
Xx。     XX。      XX
                                              协议人：Xx 电话号码     身份证号
                                                             XX 电话号码。 身份证号
针对这事我可以要回我的钱并让他受到法律的制裁吗？