解除合作协议，对方要求退还全部费用。

事件：我与一家公司老板在2013年5月10日签订了一份委托管理服务协议，为其负责公司管理及团队引进，签订当时候收取了1万元的委托管理及人才输送费用，5月13号本人因发生了交通事故，右脚粉碎性骨折，做了钢钉支架手术（有医院证明），临时丧失了行动能力，无法继续履行合同，该公司老板要求在安排其他团队进入公司工作并继续履行协议，本人安排其他团队进入公司，但老板故意降低该团队负责人工资导致该团队负责人不愿与该老板合作，该老板现要求本人退还收取的1万元费用，因本人前期为该公司调配人员时产生了车费，本人及员工在该公司工作后因本人出事陆续在该公司离职，也有部分工资未领取，本人与该公司老板协商扣除调动人员时产生的车费及未发部分的工资款，该老板不同意要求本人退还1万元。
签订的协议上有该条款：
1.乙方（本人）不得以任何方式主动离岗，否则视为违约。
2.合同生效后，双方中一方如无正当理由欲提前终止合同，需征得对方同意，并为此支付5万元的违约金。
3.对本合约终止有过错的一方应赔偿另一方因合约终止而受到的损失；对合约终止双方均无过错的，则各自承担所受到的损失。
问题：
1.本人属于违约吗？
2.对方要求退回1万元的费用合理吗？