经济纠纷及人身安全问题

2010年11月，黄老板通过杨先生认识我，经过商谈并在我当面给他们样品后（到后面黄老板不承认我给他过样品），黄老板向我下订金50万购买或要求全承包一工厂生产的煤灰渣（和黄老板只有口头协议，但和杨先生有书面协议，黄老板他只持有向我转账银行账单，黄老板汇款给我50万后的当日因其急着用钱让我返转给他5万，我也当日转给他5万），于是我向当时的承包商（承包商先向厂家签订承包合同）签了一年的承包合同出来并向承包商下了订金20万，其中30万在过程中被人分走。而和我签合同的是杨先生（汇款给我账号的是黄老板）合同签订后黄老板让我和杨先生找地方先把煤灰渣放着，刚开始的头几天吧，为了搬运煤灰渣黄老板和杨先生当面给我1千元现金作为当日的搬运费。（按合同如不搬运可在定金中扣除由此产生的费用）可是接着到后来他就说他不是要灰渣而是煤灰，拒不履行合同，还说告我上法院。再后来他说给他十万就和解再不纠缠等，于是我找承包商求情得回10万，当时我让他签字协议取钱黄老板就不愿意了，又说全部要回50万。这样我当然也不愿意，就把钱留着，但是几年来因有急事已经用去5万了，在这其中曾多次叫他签字取钱他就是不愿意也不当面谈，后来他还请人来威胁我的人身安全，近来他又放话说要找人来劫持我等等。尊敬的律师，我该怎么办？请指教。谢谢。还有的问题是，多年来我主动要求他们一起坐下来谈把问题解决掉，可是黄老板总是不愿意当面坐下来谈，也不过来见面，只是久不久的打个电话威胁之类的，又不真的起诉我或告我到法院，害我精神压力大，为此，我想把问题解决只能起诉他们，可是不知道怎么起诉法？起诉点又在哪里？或有更好的办法吗？请指教。谢谢