4月份购买期房时，我交了百分之二十的首付款（当地政策优惠），拿到了认购书

4月份购买期房时，我交了百分之二十的首付款（当地政策优惠），拿到了认购书，前段时间开发商通知我补交百分之十的首付款，由于眼下经济条件不好，无力补款，遂要求开发商退房。但开发商好几次只是催着交钱，拒不退房。还说退房也行，不退款，首付一分钱不退。说是占据房源太久了，不可以退。认购合同书上只说了拿购房合同前，如果违约，第一次交的两万元押金及其他费用是不退的，没说首付款的事。我觉得，这是开发商后面提出的要求，有权要求退房。所以咨询一下，这个事是不是开发商的责任？可不可以起诉他们？谢谢！