我老公想办好事，却觉得自己成了罪人

我老公再一次谈话中，无意听说单位有一人能给人办工作，而且那人对着我老公还打电话，价钱也不高，一个是四万五，我老公想家里人都能到这里上班多好，就是吃点苦几年就缓过来了。于是让家里人共五人每人拿了五万元，其中给了那个人四万七，说办成后再给他一万。但和家人没说此事。因为在外面办事打点吃饭一顿就得一千多，老家人不会理解，事办成了，五万也不多。但说好一个月推来推去，一年多了，我老公还是相信人家，觉得办事不是走正常渠道，不能随人愿正常，等吧！没想拖到现在还没音信！
我们说要钱，但人家说他也是受害者，他已经报了案了！我们怀疑他就是骗了我们！
但老家人的钱我们肯定要慢慢还人家，就是得个四五年。我们用扣得那些钱先给了其中三人每人还了他们5000，一个人中途说不办了那人也退了五万，另外一人还了三万也是我们这两天才跟那人要的！
总之现在那人有十五万五千得退给我们！
我们当时给他那23，5万时他写了个收据，我们还录了音。我老公想去告他，但因为我们没有提前告知亲戚那3000元的事，会成为诈骗同伙吗？我们现在告知亲戚们，并答应偿还，亲戚们不告我们，我们还会有刑事责任吗？