全日制本科一学年中途退学要交学费和重修费吗？

我是上海某高校全日制专升本的学生。
直接插到大三去读专升本的。   大三的时候，课都挂了。留下很多重修课程。
然后大四的时候，本来想退学，不过学校不想放弃，劝我继续读。我试了试，就开始读了但是学籍都没有注册。
我就没有交学费但是先上起课来了。 去年1月初又挂了一遍，就退学了。然后及时把学费卡里钱全部抽走。暂时没扣。
现在找工作，要缴纳社保，办劳动手册。 学校说你要补齐学费和重修费。但是考虑到你的实际问题，可以一定量减免。 但是还是要支付4000左右。（原价大约一万）
我相请问这样的情况我能拒绝支付这笔钱吗？  就算要支付是否还是太贵了。因为学期开始退学也不是我的本意，是在校方“不愿放弃每一个学生为前提要求的”。但是最后损失方仍然是我，明知道自己读书不行想早作打算却又耽误了一个学期。