加盟了家品牌服装，签约一个月，对方无违约，我可以单方面提出终止合同吗，合同上写明本协议不构成双方特许

加盟了家品牌服装，签约一个月，对方无违约，我可以单方面提出终止合同吗，合同上写明本协议不构成双方特许经营权，当时签订合同，合同并没有对单方终止合同违约金做做出说明，我也愿意支付一定的损失费给对方一，还有就是当时交了3000元的保证金和20万元的订货款，合同上明确了如果我方擅自终止合同3000元保证金不退。单20万元的订货款并没有作出任何说明，20万元有收据，写明进货款。关于进货合同上写明需提前15天告知发货时间，根据我发的要货通知安排发货，订货清单同时具有法律效应，但是我在这期间没有店面，所以并没有告知对方发过货品，所以不产生任何的费用，所以现在想要厂家退还20万的货款，厂家应该退还吗，我的合同可以终止吗。