合伙做生意产生经济纠纷

我与对方合伙做煤生意，生意是一笔一笔的，从某个矿调煤到某焦化厂，多少吨煤为一段落结算。然后又给另一个焦化厂调煤，依次循环。合作时间长达三年，一直是对方管账，一开始是我的投资额大，对方少。我负责从矿上采购，他负责焦化厂的结算帐。中间每笔生意完成以后，我们都没有算过账，也没清除的分过钱，因为还要合作，只是对方间断的给我点钱。 去年冬天，最后一笔生意未结束之前，他说因焦化厂不结账，资金周转不开，需要贷高利息，我说按照合同上的，不结账不行，我找不下钱了，他便说让我退出，之后我退出来，但是钱还没有结算给我 。我结了另外一笔账，所以也没有给他说。  今年他断断续续的找我算账，却不拿账本子算，因为他是管账的，所以这样我便吃了亏。他说他贷的是高利息，要我给他认钱。帐算了好几次，算的不合理，我就不认可，随后他便在外面造谣说我借了他的钱，又说是我把他的钱烂了。 还说我有他几十万，要和我算账，还到我家骚扰，我不在家。某一天，他找人把我拉到他的门面，锁在门面里面，和我算账，还是不拿账本子，还说是我有他的五十多万，胡说八道，一口咬定我有他的钱，因为他不拿账本子，我根本就拾不上账，凭记忆力和他理论，理论了好几笔账，他都不说话了，就从那个钱数里面减，见到30万，最后还说是他都坐了那么长时间了，叫我给他痛痛快快的说给他多少钱，好像他还仁义。最后我吃了个拾不上账的亏。结果是：按照正常算我不欠他的钱，出于合作一场，他现在烂了，要付利息，给他十八万。但是，其中有些他胡说的话，我老婆录了音：其中一笔100万的帐，他报了90万，无形中抹掉了十万。过年他给我一万，说给了我十万。我和其中一人在门外面的时候，里面是他和我老婆以及另外一个人，他给那个人说：我说我有钱里，就是不给他，嫌他算的账不合理，还说我给他发短信，“说我什么时间一定把钱给他，对不起了”，之类的话。我老婆问他确定我说过这些话，他说就是的，当即我老婆把我和另一人叫进去，质问他，他又不说话了。
完了以后，我觉得我吃了个大亏。   既倒了名声，还赔了钱。
朋友说：唯一的办法是，自己把帐算好，找他理论。
回家翻了翻帐，只能找到一些拉煤的票据，具体的拾不上了。

怎么办？