和贷款公司闹僵，他手里有我的各种贷款准备的资料说要黑我,让我永远下不来贷款？

去年在当地找了一家贷款公司，也就是所谓的黄牛。他给我包装,我拿出房产证征信及一些相关贷款资料给他，二十万收取七千元钱的中介费。结果没办下来，但是这手续费先交给他了，也不退了。我与他争论要求他退还手续费，他说不可能退，就算退也只能退百分之三十。最后因为口交闹僵拉黑了我，还要说在网上能玩黑我，让我永远贷款放不下来。我想问下这是触犯什么法律，他会以什么方式能将我个人整黑，我该怎么去应对。