单位可以单方面调动工作岗位吗

我在现在的单位工作6年，因领导人员岗位轮换，已莫须有的理由将我调动工作工作地点。我可以拒绝吗？如果公司以此为由将我辞退合法吗？
合同约定里有以下几条：具有下列情形之一的，甲方可单方面调整乙方工作职位、岗位或至集团名下其他公司的职位、岗位。
1、甲方根据工作需要提出的；
2、经考核，乙方不能胜任现工作职位、岗位要求的；
然后；乙方的工作地点在浙江省。