关于北京租房问题

我最近在自称是个人A的手里租了一个次卧，前一天交了押金，第二天就和A签合同，在签合同的时候才知道这个人其实就是中介公司的（当时只看了此房的房产证复印件，房东身份证复印件）。我们住的这个户型本来是二室一厅的，主卧的先出租，后来才是我们租的次卧。后来我们两家住了几天，中介没经过我们同意过来把客厅打上了隔断，我们给中介电话问原因，他们说你们没在合同里说不让我们打隔断啊。然后又没过几天这套房的房东B带着房产证原件、他的身份证、他和一个名叫小付的人签的合同过来给我们看。他说他当时是和小付个人签的合同，里面说的不能转租，不能改造房屋结构。他说因某种原因小付要从公司走账还是怎么，所以他和小付签的合同也是和我们签合同的中介公司名称一样。但是房东这次过来的时候却看到，房子既被转租了，也改造了房屋结构，他觉得自己被骗了，要让我们搬走，可我们觉得我们是和中介签的合同，钱也是交给中介的，与房东无直接关系，他无权赶我们走。又过了几天，房东又过来了，他告诉我们说他已经让他的律师给中介公司发函了（意思是因为小付那人违约，所以房东和小付的合同终止），他说他发给中介的函收到即生效，现在房东让我们在三天内搬走，不然当他要起诉的时候，在我们明知他和小付的合同已经终止无效的情况下，我们还居住我们就是非法侵占罪。可我们给中介打电话，中介说我们不用管房东，让我们继续住，我们是和中介签的合同，不用管房东说什么。法律我不懂，已经被这事困忧好久，所以想请问律师这种情况，我们应该怎么处理，是不是不搬家就像房东说的他起诉了，我们就是非法侵占罪？望律师能做指导，万分感谢！