老板出资并担任法人，但不太参与实际运营。现在公司经营不利，做为公司的实际运营者需要承担多大责任。

情况大体如下：
    我和以前的老板做一个新项目，成立了一个公司，公司法人是老板，当时私下签订了投资人协议书，有三个股东，我占10%，老板70%，我负责管理运营，但董事长是他，但公司的公章、合同章都由公司另外聘请的财务主管保管，使用不需要他签字。但实际公司有什么大的业务都需要他同意，近半年公司经营不善，至今没有盈利。现在老板说当初都是为我才投的这个项目，想让我承担责任。我和以前的公司签了一份劳动合同在公司手里，还有这个投资人协议书。请问这种情况我会被认定为实际经营者吗？需要承担多大的责任？