我想退租。或许不让别人摆摊

我租了个门市，合同写着一楼全是我的，我除边上的杂物间。然后我房东现在把杂物间跟过道隔回去自己经营。过道大概有10多个平米，我们跟他说了这是过道。他跟我扯皮说他是房东，我们没有权利干涉。这算房东违约嘛？然后我们当时租门面的时候房东把门口给亲戚摆摊。当时跟我说摆到过年就不摆了。可是现在意思过完年明年还要继续摆摊。我们想把摊位拿回来自己经营。房东不同意。我租门面5万8一年。我装修花了4万。才开了半年不到。然后合同里写了如果我违约要赔违约金。合同共租金的百分之20。我想问，我现在不要门市可以嘛？要赔钱嘛？如果我还要继续开。我有权利喊他把摊位搬走嘛？