门面租赁口头协议纠纷

我在单位租赁了两个门面,当时把门面打通后作为一个门面使用.今年由于生意不好,我将一个门面隔了出来租个别人使用.因为是同单位的人,对方说不同签合同了,就做口头协议算了.口头协议如下:1房租1500一个月,每月30日前提前付下一月租金,如超过时间,我有权收回门面.2如果单位涨了我的租金,相应的我将涨对方的租金.3在我和单位的租赁合同有效期内,如对方想经营可一直经营下去,即不定期.4如对方结束经营,其装修不能拆除也不由我赔偿对方的装修损失.5此门面只能有对方经营,不得转租及转让.门面是6月15日交给他使用的,约定从7月1日起开始计算使用时间.现在我单位于7月初和我签订了今年的门面租赁合同,并收取了我今年一年的租金和物业管理费,其中,租金比去年上涨了10%一个月.我于7月中旬通知了对方的弟弟(他弟弟与其一起经营)说租金要涨到1600一月,且对方要支付一半的物业管理费既200元,他弟弟当时答应转告于他.可对方于30日时未找我交纳下月租金.我于1号提醒他时,他说过两天给我.今天他来交租金给我时却只给我1200元,说剩下300元再过几天给我.我说应该给我1600元的租金和200元的物业管理费.对方不愿意,说才租一个月就涨租金他不能接受且物业管理费也要我来承担.我说当初口头协议说好了如果单位涨我的租金我就涨你的,为什么现在变卦?且单位给我涨了10%,我才给你涨了100块.我说如果你不愿意交1600元,那我就要收回门面.他说收回门面可以,但我要给他4万元,说什么他对门面的装修及设备大概两万多,而且他家里几个人在门面里帮忙应该要付给工资,加起来要4万元,他才把门面交给我或者叫我去找个人来转让他的.请问我可以收回我的门面吗?他的要求合理吗?如果收回门面我需不需要赔偿他的损失?如果双方协商不成的话,我要如何才能保障我的利益?谢谢了!!