这算隐瞒真相从而构成诈骗吗？

我给别人做代理，做之前对方称给他做代理进的货如果在三个月之内卖不出去可以退货。我就在他手里进了两万的货，后来我发现这些东西根本不好卖，就向对方提出要退货（还剩下1.5万左右的货物）。对方称他上家不给他退货了，所以他也不能给我退了。但我和所有经营这种货物的卖家打听，现在的厂家（或者说是总代理商）还是接受像我这样的退货的。对方却说不给退了，说白了他编这个慌就想把我进货的钱私吞。请问，这样算不算虚构事实，隐瞒真相，骗取我的财物。