迷惑：我该赔偿他50％的损失吗？

大家好，前段时间我打算在网上开店需要进一些货，与他qq上谈的还不错，最后决定跟她订货,在qq上对于货的质量问题我们一直有谈，他承诺他的货是出口原单，货的质量很好，于是我就先小批量订的一些货（在他的批发规定内），他要求我先付他30％的定金才肯为我配货，我按他的要求汇了600元，接下来就是等待时间，大概等了一个星期左右（期间我每天都有问她何时出货）。
    终于他说有货了，但货是用余料加工的，而且货的质量要比原单差（这是他自己告诉我的），因为我的货已经被人预定，而且我告诉别人是原单的，为了对我的客户负责我提出退货，他起初要我赔偿他5%的损失，因为我觉得这不是我的责任才造成退货的所以我拒绝，后来经过协商他只要求我付转帐费就可以了，我答应了。可他后来又突然反悔，要求我付他50%的损失或者拿货，（他说货是特地为我去厂家拿的）后来跟老板经过协商我们同意拿货（老板承诺我们拿到货如果不满意只要说的出正当理由就可以退货）。
可等到第二天我问经办人还需付多少余款和什么时候可以发货时，经办人上来一句话就是货肯定是不能退的，我把老板跟我们的承诺发给我他看，他却说他才是经办人，要听他的，最后我也妥协了（因为钱在他手上嘛），我又问他什么时候可以发货，他说货还要等几天，我说货不是在你们手里吗，为什么还要等？他却说不出理由只是一直拖延，我怀疑他手里根本就还没拿到货（之前他说是因为货特地去帮我们拿回来的才要我们赔偿他50%的损失），于是我再次提出退货，他一定要求我赔偿他50％损失，还说让我去咨询律师定金的意思，说是看我也不容易才肯退换我一半的……
    这是我的责任吗？我该付吗？我的定金是付的原单的定金，可他却拿次一点的货来打发我，是我的错吗？请各位给我帮助啊