购买一套房已交付了首付，但没签购房合同。能否退房？

看房期间一直是看的实体样板房，订房时也要的是实体样板房的15楼。但交了首付准备签合同时看到合同的户型图纸是另外一套户型图和样板房相反。现在想要退房。中间销售方先签了定房合同，但定房合同上没有户型图。又办理了贷款手续，接着交了首付。最后才让看了购房合同。在流程上是不是销售方也违规了？现在想退房退款。