尊敬的律师您好，现在想咨询一下劳动合同的问题

律师您好：我想咨询一下，我在某单位上班已有十一年，并签有好几次合同，现因下班早，我个人觉得没有事做，又出去找了一份小时工（餐饮），被单位其它人看到，然后单位有关部门找我谈话，说是一个人不能同事干两份工作，也不能签两份合同，如有此情况他可以跟我解除劳务合同关系。我现在只有在单位签定的合同外，在餐饮行业并没有签定合同，只是有一份劳务协议，此协议说是没有建立劳动关系，只是属于民事上的（雇佣）劳务协议，不在《中华人民共和国劳动法》调整范围内，而在《中华人民共和国民法通则》的调整之中。我也问了小时工的领导，他说这没有违反劳动合同法。现在弄的我左右为难，单位说是我干两份工作，就把心思分散了，精力都花在了外面，而对单位的工作就不能做到负责，但是我敢肯定的说，我在单位的工作是尽心尽力，把自己手头里的工作干好，并没有对工作造成影响，如果单位领导执意要这么说，跟我要解除合同的话，我应该怎么做？迷芒无奈，急求答复，谢谢。