工程纠纷

父亲战友的朋友是一缉毒大队队长，委托父亲帮忙联系工程，联系好了，他出钱来干活，父亲和他的战友一起合作。我在一工程公司，没什么权利，但是认识的人很多。听父亲说这个人有条件干工程，于是就帮忙联系。并说好在同等价格，材料同等质量的情况下，我可以帮忙联系。父亲和他战友跟那个缉毒队长要了5万元钱，做为联系业务的费用3万元给了我，2万元父亲留下办事。经过一段时间的努力，合同签了，我们帮忙也花了不少钱。可是这个队长用不合格的材料欺骗我们单位，合同被终止了。事后这个队长就找我来要这5万元钱，并一再恐吓我，我想咨询一下这个钱是否该还给他。