委托到期，中介纠缠不放

两年前我把房子委托给中介代理出租，他们把房子做了一些隔断，当时说的是合同到期后隔断和家电都留给我们，如果我们不要，他也可以完全恢复出租时的原样。现在合同到期，我们想收回房子，中介说让我们付隔断和家电的折旧费1万1。我们想以后自己出租找房客，留着这些也有用，所以同意了。老公签了个手写的字条，先付5千，剩下的6千想等我们把房租出去以后再付。但是现在我们改变想法，想让中介拆隔断拉走家具，恢复原样。但他们说以前交他们的5千也不退了，还一定要剩下的6千。这种情况应该怎么解决？