合同纠纷-甲方要求终止合同要乙方退回初期款，这时候身为乙方的我该怎么办？

我是乙方，甲方在今年9月份委托我设计两本书，合同为40000元，在12月份中旬最终稿件定下来后，到2018年1月2号，甲方决定不生产了要终止合同并且让我退回初期款20000。
在10月份期间我的设计文件没有通过出版社审核，但是甲方没有跟我终止合作，并且继续合作直至我所有工作做完，他们也确认了。
到12月29号跟我说合同中有一项我没有达到要求或者没有通过出版社审核，需要退回全部费用，但是没有通过出版社审核已经是2个多月以前的事情，并且在2个多月期间我们一直在进行此项目的合作。
我能理解为甲方的决策失误现在把责任都推给我，为了挽回损失。

我应该怎么维护自己的权益，合同说明设计稿确定后需要甲方付清尾款20000元，才能交付源文件。但是甲方在12月29号一直催我要源文件，我并没有给，元旦节回来他们决定不做了，说是因为我没及时交付文件，导致它们项目无法进行。要求我退回初期款20000元，我们是在异地签署的合同，未曾见面。
现在不知道怎么维护自己的权益，求助