主房违约金

我是江南御花园一期27栋1006业主，该栋房屋属小高层，总共11层；我的房子户型是10层加11层跃层，是2007年10月购买该房，合同约定交房2007年12月31日；在房屋交房之前，我多次去房子看进度，于2007年底发现原来我11层外开门被拆走并封死；因为根据合同约定应该11层留有外开门，就此事找到开发商，开发商同意装门；由于交房期限一再拖延，一直至2008年9月13日通知拿房子钥匙，在通知拿钥匙前几个月内我多次到房子去看，每次去发现门没装都找开发商，开发商都说会给你装门的；但拿钥匙了，由于11层户外房子门没装，我拒绝拿钥匙；后来，11层户外门于2008年11月23日装好；开发商通知我去拿钥匙，我也答应拿钥匙；但开发商说交房日期是第一次通知我拿钥匙日期（即2008年9月13日），我认为是房子整体验收合格后日期；我对江南御花园开发商说法十分不满，到底谁对谁错，同时想咨询一下处理办法，讨个明白说法。谢谢指教！