我是做配件的，年底了，有个客户欠了1年的钱没给，还以产品质量问题扣了1万，怎么办？

我家是做船机配件的，我一个客户欠了一年的钱没有给，现在年底了，他说我家的产品质量有问题，给他造成了损失1万元，然后把货款扣了1万。剩下的也不打算给了，只说先给两万，剩下的以后再说。再给他供货再决定给不给，给多少。去要了几次，又把损失提到了5万，我们现在都不敢去要了，怕他给扣没了，我们还得倒贴呢。货款一共是9万，这可是我们一家人一年的生活费啊，怎么办呢？我们是不想起诉他的，因为都是圈内人，大家低头不见抬头见的。有没有别的办法能要到钱，请指教。