买房遇到黑心中介找混混来给我们要钱怎么办？急急急

去年年底买房子，遇到一个中介，这个中介是没有正式工作的，是这外面做私单的，给我们找了一套房子，我们当时就看中了，和业主签了合同，就我们和业主潜力合同，跟他谈的中介费是2.6，我们当天就给了他1万1.第二天我和我老公有点担心不是正规中介，所以想走正规公司，然后他不同意，我们就自己找了业主，业主也同意我们走公司。后来我们就和业主在另外一家正规中介公司重新签了一份合同。当然那1万1也没要回来，心想说这也是他帮我们找的房子。就算是他的介绍费了。后来我跟业主都跟那个中介说我们一个不卖了，一个不买了。但今年我们都快交房了，那个中介突然知道我们还是买了那个业主的房子，就来找我老公，昨天在我们家楼下吵，让我老公再给1万，我老公没同意，今天晚上他就带了一个混混来这里威胁我老公和我，让我们给钱，你们说我现在该怎么办？他也知道我们买的哪个房子，特担心他以后经常找事，家里还有老人跟小孩呢！该怎么办呢？报警也没用啊！