合伙经营合同违约问题

本来是两个人合伙做餐饮，股权一人一半，签合同时，我先给了他三万做为押金，合同上有一项条款剩下的11万要在6月23日之前给他，但是因为我在经营中发现他有小动作（比如他在这个店旁边又开了个烧烤店，经常把我们店的东西往他的烧烤店拿，如果打官司，有员工可做证），我不放心怀疑有欺骗行为，就故意拖了付尾款时间，6月23号之前他也没有催我这个事情，直到6月25号我才向他提起这个事情，说晚点把剩下的11万给他，他也同意了（有短信为证）。现在他不想做下去了，希望我一个人把整个店面接手下来，但是因为价格没有谈好，现在他以我没有在23号之前付给他合伙的那11万，认定我违约，如果我不接受他提出来的转让价格。他就要没收我那三万押金，我就等于什么都没有了。我每天在店上管理经营买菜那些员工都知道，也就是说他是承认我也是这个店的另一个老板是吗？我很苦恼，我是否违约？虽然合同上有一条，合伙半年内不能退股，但他就是咬定我违约在先，我是否违约，我是否该接受他提出的高于市场价的转让费。