关于网点部分转租后，双方营业冲突影响该怎么办？

我租了一个网点，将一楼转租给别人了，对方当时说做学习用品，我做礼品，看不冲突，就同意了，合同这样签的：一楼出租给乙方做xxx品牌零售，双方营业方向不允许冲突。
可是对方进货来后，我发现对方进了大量礼品，跟我做的很多冲突了，可这些礼品是对方这个牌子也经营的，对方当时根本没跟我说他经营的这个牌子有礼品，只是说是学习用品，我就同意了这个牌子有的东西他就可以卖，我该怎么跟对方交涉？合同里那条可不可以让我站住脚要求对方不销售跟我冲突的东西？
合同里还有一条：乙方严重影响甲方正常经营可以收回网点。如果乙方销售跟我一样的东西，协商不了，这条合同能不能起到作用？怎么样才能维护自己的权益？
注：对方用一楼，我用2楼，我的顾客要来买东西，还需要从对方店里经过。对方当时说租赁用途时，只是说学习用品，只要他经营的牌子里有的就卖，根本没跟我提有礼品，这是不是欺骗？