公司强行把我调到别的部门，但我不想去怎么办？

我在某书店上班，现已工作4年左右，最初的工作部门是在防损部门（也就是和保安差不多）因为当初是刚毕业没有多久，而且也没有什么工作经验，所以就暂时从基层做起，在公司也很努力，但工作性质，有时候还要守大门，而且还会经常碰见熟人，着白眼，压力很大，后来因为某些原因被调到服务台，虽然工作量方面比原来部门要累的多，但我还是比较喜欢这个部门，可领导却想方设法要把我调回原来的部门，而且还以公司的名义让我服从安排，没有商量余地，请问下我该怎么办，辞职又有点不甘心。