请律师帮忙看看如何处理

各位律师好

            我是做贷款中介的，通过四个中介认识了23个想办理贷款的人，当时我跟四个中介说如果
他们能够自己去做这些贷款的证明最好，如果不能够自己做呢，我可以给他们提供一个渠道，就是做一
个人头的业务后我可以去为她们办理相关的手续，然后在做贷款


          这个所谓的人头业务，说白了就是一些投资公司利用别人的名义公司作担保去做贷款，贷款下
来以后公司用公司还，然后跟签字的人签订合同以及一些相关的协议，只要是通过的人，每个人给3500元
的费用
     
          这个钱当时我没有跟当事人和中介说清楚，现在贷款做不了，我也知道这可能会触犯法律
所以我打算把钱退还给当事人，因为手头紧张没有那么多，我就跟部分当事人联系，达成一个协议，
我给当事人手写了一个借据上面有我的身份证，并且当事人也认可了。

         
          有些当事人我没有联系因为我没有他们的电话，找中介要他们也不给，说让我把钱给到他们
我担心给了他们以后他们不给当事人或者少给当事人的话，那对我会不会有不利的影响，因为我已经跟
部分当事人达成协议了，达成协议的这些当事人的钱我不给到中介的话，他们去报警说我诈骗的话是否
成立呢，如果中介以这个事情为借口要挟我跟我要钱我应该如何保证自己的利益呢