找工作为名诈骗，怎么向中间人要回自己的损失

2016年通过中间人帮忙找工作，给了中间人10万元，中间人找诈骗方帮忙，并给了诈骗方6万元现金，中间人自己留下4万.这些我们自己并不知道，2016年9月因工作没找到，多次催要无果的情况下，中间人报了警，诈骗方直接被抓，2017年法院判决生效，诈骗方直接进去了，中间人却一点事也没有，原本我们的钱是给了中间人，最后损失的确实是由我们直接和诈骗者索赔。 现在诈骗方没有能力归还，中间人只是把自己收取的那一部分退给了我们，我们是否可以直接要求中间人退还全部钱款呢， 当时收钱时写的有字据， （承诺是半年办成，办不成全款退， 但这个并没有体现在字据中），若起诉中间人胜算的机率会有多大。