合作纠纷

你好律师，我有一个问题想要咨询。
我2010年退伍以后就自己经营了一家中餐馆，前后投入大概20多万元。在经营一年多以后由于生意不景气，所以找了一个合伙人，该合伙人入伙时只交纳了一年的房租（8万元），还有添置改造了一些物品，大概金额是1万余元。我们每天的营业额都是当天结算，除支出费用外，剩下的金额一人拿走一半，。并且合伙人还在上班，并没有怎么过问生意上的事，而我则是全职在店里经营。
但由于自己刚退伍下来，没有社会经验，再加上当时的情况所迫，无知的签了一份并不平等的协议，当时没有太在意，但在后来三个月的合作中，跟合伙人合作的并不愉快，于是想让他撤走，我们补还他之前所投入的房租及改造费，可是合伙人却不同意，他说协议上说了这店是一人一半，如果想让他走，那就必须得把这店另一半的钱给他。请问我该怎么办？？？？
下面是我们所签协议的内容：

协议书
甲方：（我本人）
乙方：（合伙人）

经甲乙双方协商如下：
1、甲方将现在的某食府交由乙方改造为某餐馆。
2、作为甲乙双方共同经营此餐馆。
3、现有原食府一次性定价：12万元。
4、房租由乙方交纳，一次性交纳房租8万元。改造由乙方安排（增添设备及改造招牌）。
5、甲乙双方等额投资。
6、甲乙双方各占50%份额，所有费用由甲乙双方共同承担。

本协议一式两份，甲乙双方各执一份，签字生效，任何一方不得违约。