有人欠我家80万，有欠条，赖账了两年。现在要钱扬言杀我们全家。

有人欠我家80万，有欠条，赖账了两年。因为是兄弟所以一直没起诉，而且知道他把所有资产都转移了。因为他已经欠很多人了一屁股债赖着不给。
因为知道他要跑到外地，已经偷偷在外地买了别墅。
最后说只要一半也不给。 我们都是做生意的，因为我帮他运一批货，他能赚200万打到他账户。所以准备起诉他，他直接扬言杀我们全家。

现在只要要钱就要杀我们全家。 
请问遇到这事怎么办，因为没证据，也没法报警。而且他手底下养了一群黑社会。很担心我妻儿被连累。