百万元合同纠纷，合同约定货到付款后，下货，客户货到后不付款，现已经货物拉回，想问我接下来该怎么做？

我方与需方在8月13日签订了99万的供销合同，客户付了5万元定金，签合同时，客户说先发来一批，看看，在8月16日，我发了一批货到工地，合同工约定，货到，付款后，下货，结果，货到后，客户要求（客户说连数都不见）卸货后过两天才能拿货款，我不敢卸，1，合同上面有规定付款后下货，2，客户如果对货重视，应该岁产品质量数量很在意，客户却不在意，只在意我卸不卸货；我怕客户我卸货后恶意拖欠货款；后经过多次协商，有几次客户说给钱，等我到了工地却又变了，一而再再而三的反复，我更不敢下货了，最终也没达成一致，后我把货拉走了，货物是从河北发佛山的，来回运费就接近了5万元，但是在协商时，我曾经告诉过客户，如果他不付款，我把货拉走了，如果他再确定要，所有的运输费用全部有客户自己负担。客户说你拉走吧，我拉走后客户威胁我说报警，我说可以。昨天收到了客户发的律师函，歪曲事实，与我们订立的合同不符，我有扫描件，可以给你看，接下来我现在该怎么做？  客户不遵守合同，到反咬一口，刘律师可以帮我指导一下我该怎么做吗？