我遇到这样人应该怎么办？

事情经过是这样的，在我们家建房子的时候请了一个包工来看管。说好房子建立好付给他工钱1万元整，并签字条也按有手印。房子建好后他回广州那边打工，正好我弟弟谈了一个女朋友，当时是他牵的线，他回广州后七月份我弟弟结婚，所以我母亲请他过来做媒人。但是他一来就发生了脑出血，搞得整个婚事情很不好。之后我们给他治病花了四五万， 在同一个时间我爸爸也得了这个病，两边都要钱花，但是他说如果不治好他的病他会让我们家不得好过。事情总有不好的时候2007年底我父样病逝。2008年初那个包工的病情好多了。但是他一直待在我家不走。说什么要我们家给他十万元钱。还恐吓我们说什么不给钱。信不信我叫人把你们家搞得家破人亡。还强迫跟我母亲发生关系。他还说什么他家里有人不怕。你们一个小小县城不够他们家斗的。。从2009年开始，我就开始偷偷的录音。他说的过每一句话。包括恐吓的话。强迫的话。都有录下来。不知道这些是否能成为证据。这个人要是真的找人来，我应该怎么办。他说他在广州认识很多黑色会的。还说什么家里人是什么人大主席什么的。我知道这些都是在恐吓我们。 我应该怎么办。现在还在我们家里不想走。请各位帮我解答一下。。谢谢了。