小店加盟后因附近有同品牌店面要求退还加盟费

本人去年7月-8月间找本市 好想你枣 的代理加盟，代理要求交纳5万元加盟费，我在7-8月间给他了一共3.5万元（分两次给的），还剩1.5万元到现在没给他，因为我店面10米旁还有个好想你店面，我要求代理把那家店牌子摘了，停止给他供货后，我付给他最后1.5万元。代理同意处理那间店面，但现在那家店招牌依然悬挂着，好想你的产品依然在出售，我联系代理很多次，他告诉我他把那家店货已经断了，招牌他无权去摘，他联系到好想你公司领导，领导来了几波，最后要求我装修门面到公司要求的状态后和公司重新签合同后，他们会通过司法手段解决另外一间店铺。但我这半年被这事拖的没挣到什么钱，而且我也不想再继续做下去，很累，我想找代理退还加盟费，代理不退，而且这个代理现在也换人了，我该怎么办？