跟朋友一起合伙开淘宝，亏本找我赔钱

我跟一个朋友在2014年10月开了一家淘宝。当时我说我想做，他说他也想，然后说合资一起开。我也同意了。期间他陆续给了我4500.他自己在4500里用了900.剩下的3600，做到10月份因为刚开始做没什么生意，后来生意好起来了。期间他找我借钱找了好几次，我都没同意，在这之前还要说一下我跟他的关系，我跟他认识了4年，他是潮州人，到珠海这边一直没工作，断断续续的来了珠海3次。每次过来都是不工作，找我要钱上网，要钱吃饭，要钱通宵在网吧过夜。到2015年一月份，他说家里要买房子急用钱，找我拿回本金，我现在的淘宝从14年到15年，已经有了近5W的流水账。因为从国外运回来。打税跟海关不放行拖了我很久时间，客户要钱退款。我现在一大推货物没有卖出去。我跟他协商说过完年以后就退还，亏多少我不跟他算，我当自己倒霉。他不肯，非要我现在退钱，退还4000给他。期间还发了信息威胁我，说不让我好好过，不让我家人过好年。他爸爸在潮州是当村长的。现在他爸爸也在逼我还钱。当初做生意你情我愿我也没有强迫谁，现在亏了找我退钱。我该怎么办？