合同纠纷和利润是否该给对方

我和一个老外合伙做海外移民的买卖，签署了非独家合作协议，我以个人和老外的房产中介公司签署的，合同是一年一更新，在第一年合同结束后，我觉得利润比例不合理，就打算不合他合作了，刚好我们共同办理的一个客户联系我想给我介绍移民客户，我就用个人名义通过这个客户办理了一些交易。和老外合作是因为他可以提供房产信息，后来我自己直接和房产商签署了个人合作协议。所有后来的客户都是用这个协议办理的。  现在老外找到我说后来的客户是由于我们共同的客户给介绍的，应该算他一份。  我觉得很不合理，他从没参与后来客户的移民办理，而且我不是用我们共同的合作公司承接的业务。为什么要分给他钱？。他最近给我发了个律师函，说要钱。  我想知道我会有什么责任？ 是否会对我和我个人公司有影响。