到付美国客户拒付款寄货方可以拒付联邦账单吗？

有个美国客户给我下单提供他们公司的联邦账号要求寄货走联邦，说是他们付款，刚开始的两票货他们的确付了款，但是后来他们在没有告知的情况下拒绝付款，后来联邦公司把账单发给我才知道他后面的四次出货都没有付款。
现在联邦公司以客户拒付为由要求我们付大概一万块钱的账单。说是他们的合同上写的很清楚，如果客户不付款，就会让出货方付。而所谓的合同就是他们在运单背面写的密密麻麻的那些字，我想问问联邦公司单方面的霸王条款合法吗？

我明明清清楚楚的写的是到付，客户不付款他们应该找客户，但是现在他们就直接找到我们了。
我就想问问这样的情况下，我们可以拒绝付款吗？
谢谢