民事合同纠纷

律师们您们好！有个问题需要帮忙，我在家楼下有个门面房，在2010年4月27日和两个合伙的人签订了合同，他们是用来零售食品和卖早餐的，期限是三年，在前几天其中一个人在店里和外面的人发生矛盾，被一群人殴打了，现在他说要退门面房，不在这里做了，至今还没一个月。合同上写了条例为：第十一条、门面租赁期间，乙方有下列行为之一的，甲方有权解除合同，没收押金，并要求乙方赔偿相关损失及承担违约责任。(5)合同期限未满要求中止合同并退门面房的。押金面额为5000元，他们说愿赔偿违约金1500元，相当于一个月的挡租，另外3500要退回给他们，说什么希望我谅解理解什么的，我不同意，我说按合同办事，他们很不服气，说我黑他们5000块钱，说我说过特殊情况可以商量，第十四、本合同在履行中发生纠纷，应通过双方协商解决；协商不成，可诉请人民法院处理。他们说把3500退回给他们大家好聚好散，我也说了很多道理，他们听不进，说：不要把事情搞大了，对你没好处，说了些恐吓我的话，我当时听了都火了，现在他们决定要走，退不退都要走，几天我们当面把合同销毁了，还有押金条。照这种情况，我该怎么处理？是有必要退回3500元，还是坚持不退？亲师们帮帮忙！谢谢！