破坏房屋结构？

出租人同意我转租后，我在原来的基础上扩大了玻璃门，并按经营需要进行了必要的装修，（没有动框架结构），现在出租人为了涨房租（租赁期未到），说我这个是破坏房屋结构，还说他们公司的法律顾问说的，我只要动了一块砖头，就算是破坏房屋结构了，并威胁我不同意涨房租就告我破坏房屋结构，要我赔偿和收回房屋，请问我该怎么办？附：我是2009年和某公司签的房屋租赁合同，注明是开浴室的，租赁期是十年，到现在他们为了涨房租已经以各种借口，和我签了三份协议，由于投资巨大，我都无奈的签了字，现在离上份签的协议刚三个月，他们又以上述借口要涨房租，求各位帮帮小弟，谢谢各位了。