我想咨询一下，我通过一个劳务中介想办理日本出国劳务，他收了我2000块钱中介费

我想咨询一下，我通过一个劳务中介想办理日本出国劳务，他收了我2000块钱中介费，把我介绍给了一家外派劳务公司，在办理时，面试通过了，所以我就交了钱给公司，后来在等签证期间还参加了公司组织的日语培训，但是后来发现我身上有纹身，日方又不同意要我了，（面试的时候考官问过我身上有没有纹身，当时中介跟我说穿衣服看不见的纹身没有关系，所以我就跟考官说了没有），公司知道这件事情以后说我是故意隐瞒纹身的事情，所以取消我去日本的资格，我找到中介人，他说他主要是负责给我介绍到公司，具体问题他不管，并把中介费退给我了！到公司那边退钱的时候，公司罚了1万块钱，说是公司办理出国的费用，说我是因为自己的原因去不成的，这1万块钱不能退，后来我又去闹了几次，他们又给我退了4000块钱。现在还有6000块钱没要回来！我想问一下，中介人有没有责任？我是不是应该找他要钱。我报警的话，是应该追究公司还是中介人？