卖淫团伙在我桑拿按摩店门外招揽生意，我因影响客源和名誉向他们收取的费用。会有事吗？

本人承包了一家桑拿按摩店，店内明文规定不能涉及黄赌毒，也对员工做好这方面的培训。
    因为桑拿按摩经常会招来一些想要特别服务（性交易）的客人，所以引来一先卖淫的团伙找上门来想带人进入我店内提供这方面的服务。因为知道这方面的危害性，我拒绝了他们进入我店内做这些事情。于是他们在我店楼上要了几间客房来安置卖淫女和实施卖淫的房间（客房是宾馆的房间与我店没有关系），在我店面门口放置一张接待台与我店接待相离很近。店外已经不是我承包范围，按道理我没权利去太多阻拦。每当客人来的时候是需要那方面的服务时他们就直接揽走生意！ 因为很多客人都是冲这我店名声过来的，间接上属于我们的客人，他们这样无店经营靠这我们的客源才得到生意做。看着这点我跟他们收取的部分钱，但是签了一份协议书内容是：“因为他们的门外招揽生意，对我店照成客源上和名誉的影响，对这个原因我店收取部分资金作于补偿。但对你们不做任何管理或协助，你们的人员和活动与我店无关也不能在我店进行。”    
   我店就处在这种局面下，想咨询下这样在法律上我店需要承当责任吗？
   我店没有组织和容留他们在店内，对他们和客人也没有提供服务，在店外就已经被他们带走。那些嫖娼的客人也不是我们叫来而是自己来的，对外我们从来没有发布过我们有这服务。我们只是对卖淫团伙收取了费用，没对客人收取。费用的收取只是对客源和名声的影响所给的补偿.