卖家说房子卖亏了，如果是客观事实，就有理由退定金毁约吗？

三月份我购买一处75平米的二手房，六楼送约50平米的阁楼，都已经装修过，经中介带领到卖家的家中，得知房子的大概状况，房子是卖主一家向他人购买的经济适用房，一直未过户，但是原房主愿意帮忙过户，于是与卖家的妻子、母亲签订了3方协议，约定房款为332000元，我交了3000元的定金。约定3月底左右双方一手交钱一手过户，违约方要交2%房款给中介。但是之后的几天卖方总是拖延，不提涨价也不提毁约，总是说自己或者原房主没时间。说要等等，我方提出以前定金下的太少，如果让我等也可以适当延长但是要加定金到20000，对方不答应，现在已经4月10日，我担心卖房会违约。
经中介打听房主觉得卖亏了，想加价。我想说假如这个房子的合理市场评估价格有40万，那么他就有理由退定金毁约吗？如果他不把房子卖给我我可以说我要在本小区买同样的房子需要40万为理由要求赔偿68000元的差价损失吗？