剩余工程款没有支付，我扣了投资方工程材料

你好，张律师，我的情况是这样的，我队10个人，我是队长，经别人介绍在一农村做农网中心村电力改造工程，竞标方没有直接参与工程，而是承包给了下面的投资方，我经朋友介绍给这个投资方施工，我们之间没有直接的签订合同，朋友以前跟他有一份合同，参建人员也没有我的名字，后来这份合同被竞标方收回作废了，并给了我4万块钱，并要求投资方按照工程实际施工清算剩余施工款，而后这个投资方因为没有支付允诺的施工费，我就停止了施工，并一直追要未果，我们就扣了投资方工程材料，现在投资方赶工期，商量要我们把这材料先给他们用，等光明电力公司给他们结算工程款在支付剩余施工费，我没有答应，因为他们没有诚信，材料我一直扣着，还产生了其他的看护费等，我这样扣工程材料合法吗，请问我该怎么办，我的电话18653850890，求帮助