你好，我想咨询下，我有一个洗煤厂，有个煤老板打入20万买洗出来的煤炭

你好，我想咨询下，我有一个洗煤厂，有个煤老板打入20万买洗出来的煤炭，因为当时路不好没有及时给送，那个煤老板说为了督促让我们快点送煤炭不行就打个借条，那个借条上面大概写着（要求3天发煤炭，不行的话20万按一天一万利息算，煤款拉完此据作废），本来我不想签这个借条的，但是他说他已经去我厂里把我孩子、儿媳妇还有孙子看起来了，不签字不行，他还说他坐过牢。我一个女人还是外地的结果就签字了，3天后装了3车煤炭退还10万现金，但是钱收了煤炭他讲跌了就没有收煤炭，后来又给他发煤炭，结果发超了，他讲没关系超的给钱，当时超的煤炭我们不给下，他就抱着钱去了我们才下煤炭，结果下完之后他就开车走了，后来他说答应给，但是到现在半年了还没有给我们算账！这个问题现在该怎么解决？他有前科，确实坐过牢！