货物被司机拉走不归还，物流说和其没有关系

我找了一个物流公司（常德湘安物流），从常德拉到新疆乌鲁木齐的4车货（价值约300万元），没有和物流签署协议，口头约定，货物倒运费15000元，长途运输费每车30000元，发车时我们已将到运费和长途运输预付款每车5000元，合计35000元全部付给了湘安物流公司，对方也已经出具了收条，现在，只有一车货物已经运抵乌鲁木齐，我们也已经按约定将剩余运费支付给了该车司机，剩余三车货物未到，经了解，司机走到陕西不走了，说过不去，于是双方协商赔偿问题，在没协商好的情况下，司机私自开车把货拉到他的所在地宁夏，我们找到物流，物流说和他没有关系，就这种情况，我们和物流公司及司机应该怎么处理？