经济纠纷

.尊敬的律师：2010年11月，黄老板通过杨先生认识我，并向我下订金80万购买煤灰渣（只有口头协议，他只持有向我转账银行账单），于是我向厂家签了承包合同出来并向厂家下了订金50万，在其中的一段时间里特别是在要求他履行合同开始时，他总是找借口不履行协议，让我很被动也亏了钱，并让我找地方先把煤灰渣放着。到了2012年底他就和我说要回80万，我当然不给他，他就说要告我到法院，我一直也等他告我也没联系过，这段时间来他也没象他所说的要告我到法院。可今天他突然给我电话说再不给钱的话就告我到自治区公安厅刑警大队去（里面有他的人），说那个人可以下来抓我去到时候会坐牢十年八年的。请问律师，我该怎么办？（备注：他原先向我下订单购买煤灰渣，后面或现在他不承认向我下定金购买煤灰渣，而是别的产品）