请教；怎么确认公司是合伙开的？

我和李四属亲戚关系。2015年李四找到我，说合伙开一个公司，要我投资，业务都由他负责。由我管理财务。并兼出纳。我2015年陆续给他汇款48万元。（由我借他姐夫的20万。借我哥哥的15万，我的13万）我一直不在公司上班，一切开支收入，经营活动，从没有和我商量过。有时候几个月我去公司一次，他就将所有的票据及白字条要我登记入帐，他拿工资。我没有拿过工资，2016年12月份，他在我不知情的情况下，单独去银行更换了财务章，我就问他；我们之间的约定算不算？他说不算。我的钱不可能要你管。你要么就退出公司。我也爽快的答应了他的要求。并找来他的亲姐夫，和我的亲哥哥。就他公司关于我退出的事宜。就我投资的48万元，按1%的月息支付利息给你。本息共计56万多。他就说给55万你退出。当时给了20万现金。和抵消我欠他姐夫的20万，由他偿还。欠的15万由他直接还给我哥哥，他就写了欠条，在欠条上面写明2017年4月底前还清。
他随后写了一个协议全文如下；某某（我）与李四就某某公司原签有的所有的合作协议.合同于即日终止。2017年1月17日，双方签了名。
到现在也没有还款给我哥哥。反而说，我和他只是终止了合作，并没有清算，原来有亏损要我承担50%，他公司注册登记是他100%的股权。
他拿出2016年做的工程中标价160万，经审计为100万的依据。亏损要求我承担50%，
我说你注册公司，实际上他就没有把我当股东。给55万我。我退出也是你答应的，亏盈都于我无关。过了一年多的时间。这不是敲诈吗？他要起诉我。我要替他承担亏损吗？谢谢指教！