没有完全履合同上也要我们支付全款

我父亲在上班途中心脏病死亡，因为当时我还在上学，没有办法一直跑外地和公司处理相关事宜，于是我们请来律师委托他代表我全权处理这件事情，到时候按赔偿的5%给他，可是律师只陪我们去见过对方公司两次，咨询了对方一些事情之后一直没做什么了,后来去外地办理赔偿事项是我自己和对方协商好的，对方用保险赔偿我们，保险需要提交材料，当时因为对方公司办事人员不主动去提交材料导致一直不能火化，于是我们要求他去跟进一下那边的材料处理进度，他一口回绝了我们说他不去，结果催促对方公司提交材料都是我们自己三番五次电话去催的，提交材料时因为地方的政策不一样，我们打电话要求我们的律师来跟他们说，结果他说他在新疆出差不来，然后户口地也要出示一些材料他也是让我们自己去办，我在外地上学还要三头跑，最后只能是我自己请假去办理，现在一切事情都完结了，我们认为律师没有履行全权处理的合同内容，所以不能按照合同上说的给5%，只能给他平2次的出差费和咨询费，他却说什么我们这钱来得太容易所以不想付钱给他，可是这件事我们来回跑了不知道多少次，也一直电话催促，对方公司也一直拖，不愿意交材料，最后材料也是我自己去各方拿的，弄到1个多月才火化，并没有很容易，但是律师说如果不付他就要告我们，请问我们说好的是全权处理才给他5%的钱，但是他很多地方没履行合同，对于我们要求他去那边询问提交材料进度他也回绝不去，要求去协商他也不去，要求他去处理各地方政策不同导致的一些问题他也不来，这样我们也要按合同的5%支付吗？