一家自称中介公司的机构多次联系我们，声称可以协助办理贷款。我们提出了两个前提条件：一是必须办理企业信誉贷或税金贷，二是放款方需为正规大银行。在此基础上，我们与该中介签订了服务协议并加盖了公章。随后，在该公司办公室的角落，对方通过电脑进行操作，期间我们进行了几次刷脸，但未能看清对方的具体操作内容。对方称第一笔贷款已到账，双方约定次日查账后支付中介费。然而，查账时我们发现打款公司并非大银行，因此严重怀疑该笔贷款存在问题，于是申请将款项退回，但对方表示不同意，还向我们发送了律师函。这种情况下，我该怎么办？