押金该不该扣除

今年五月底我们在漯河某啤酒广场租了个摊位，合同租赁期限是2012年5月25到10月10号，当时交了2000元押金，开业一来生意一直都不好，到后期其他摊位都相继不干，一打听才知道别的摊位都没有交这个押金，我们和老板商议退出，老板居然说不退押金，那我们说继续干下去，现在是老板提出结束啤酒广场，我们要回我们的押金，老板却说我们违反合约要扣除500元，（其中有3天我们没有出摊）我想问老板算不算先违约，这个押金他有没有理由扣除？要是起诉他我们的胜算有多少？合同写明哪一方违反合约赔偿5000元违约金。