在房屋隔墙上开了一个门，是不是破坏房屋内部墙体结构

我是一个二手房东，租了一套房，合同期是三年，现在还不到一年，房东突然说要收回房屋，并且不给赔偿，理由是我在房屋的隔墙上开了一个门，我们的合同有这样的明确规定，不得破坏房屋内部墙体结构，退房时恢复原状。我是不是给他恢复原状就可，我只不过是在隔墙上开了一个门，又不承重墙，算不上破坏室内墙体结构，所以我一直不肯退房，我该怎么处理。