认购诚意金可以退吗？

4月初去买某楼盘买房，去得比较晚，急急忙忙被销售员说没几套房了就匆匆订了一套大户型房。因为并不是最满意的一套，还问销售是否可以换，销售满口答应，我也交了2万块诚意金。
刚回家第二天我就打电话，希望还是可以换小校户型。对方以该小户型单平方贵，买下来也不划算，让我留意下我订的这套，并说估计5月底要付首付。再后来跟他谈到此事，他也以小户型单价涨价为由，劝说不换。对此，我一直在观望。
8月22日，他通知我可以去查个人信用，准备按揭手续。问他小户型单价状况，他仍说比较贵。与我妈商量后，第二天跟他说不想要房了，他称诚意金不退！我说我这不是定金，是诚意金，是可以退的。他却说他当初说不能退，我自己说不话不算话。我听完挂了电话。
晚点又打我电话，态度稍好。说能以当时我的户型价格买小户型，问我愿不愿意。我说要与家人商量，当时家人在外散步，没带手机。明天给你答复。他却突然态度恶劣，问我钱是不是不想要了，今天说清楚！听完我比较气愤，挂了电话。准备周末亲自去售楼处。
想咨询一下，如果拿回诚意金，需要怎么做？