微信交易异地，老板不给发货不退款，改如何办

我和其他十几个小伙伴（全国各地）于2.8至3月时间不等通过微信转账交易总金额2600左右，老板一直推迟发货，不发货，也不退款，微信，电话联系多次不接或者敷衍，我们在各个微信群等多种途径寻求受害者。3.28号联系上老板，老板说30号解决，但今天电话联系说我们损害了他的利益，要求我们赔偿。我们如何处理，我们有录音，有他骂人的，承认不发货的。我们有微信，支付宝交易截图，老板没有把我们拉黑，只是不处理。现在还说我们损害他的名声和经济利益。