劳动纠纷（降职）

我与公司签的合同是所有员工一样的集体合同，在公司5年零三个月，13年4月份公司有聘任书，聘任我为安全主任（主管），五天8小时，现在要裁减、控员，无理由降职为仓管员（员工岗需经常加班），之前也没通知我，上午说调岗，下午就把我的工做分给5个人分做了。我现在不同意调岗，要求公司解除合同，给予经济赔偿可以吗？我一个人上班养活一家人，还有个3岁多小孩，这一调整生活都无法保证了，公司就是逼着让我自己走。我该如何维权，请您协助！谢谢！
    律师说申请劳动仲裁，可当地劳动部门讲单位给降职很正常，只要工资不低于当地最低工资，劳动部门管不了，是这样的吗？