建造师挂靠期间违约问题

我们单位通过中介找了一个挂靠的建造师，当时是和中介代签的协议，付了三年的挂靠费用给持证人。一年后建造师本人因为有其它更值钱的注册类证件要往其它公司挂靠，想与我们公司解除挂靠关系，说明退回三年的挂靠费用。但是中介说已帮着介绍完双方挂靠事议，而且是建造事本人原因要退证为由不退还中介费用，事情就僵持在这里了，建造师说咨询建委有关部门，可以通过司法程序不经过我公司同意就能把他的建造师证在我企业注销，并可以不退还我支付的挂靠费用。请问这样是否合法，那我们公司所受到的损失由谁来承担。而且现在是建造师个人的原因要求退证，还有就是现在我们企业的证书资质人员是正好的，他要是退证，我们企业就少一个建造师，而现在外面的其它建造师挂靠价格又远远高出当除和这个建造师挂靠的价格，也就是说我们退了他的，就得花高价再找别人。说明原因后，建造师就让我们找中介退中介费用来补偿中间的价差，中介又不退钱，请问这种情况怎么办。