合伙人违约，我应如何终止与他的合作

我与朋友合伙开了机械制造企业，在无锡注册的。原先约定不管各自的资金是从多少个朋友借来的，各自的朋友都不准进入公司参与经营。现因朋友违约，让其哥哥到公司任职并直接参与管理，而且享有实质股权。我严词拒绝，但朋友说如果不让其哥哥参与管理且享有实质股权，那么她哥哥就会将已投入的资金撤走。
我打算放弃与朋友的合作，请问我应该怎么办？我愿意付咨询费。