关于房产定金问题

本人于7月初4日在沈阳金地房产购买房子一套，想全款购买，当时因为资金不能到位，售楼员建议先交定金5万元，然后走商贷的名义把房子留住，房子全款是164万多，首付是49万多，然后售楼员说7月末交全款就可以，如果资金不到，就走商贷。我们也觉得可以。
后来回家和老人商量后，决定就走商贷。本人于7月11日去售楼处，准备走商贷的时候，售楼处因为我们是购买第二套房子，首付必须是40%，所以就和当时签的协议30%起了冲突，这样首付需要60多万，售楼员建议我们夫妻二人办假离婚，这样首付就是30%了，我们没有同意，因为我们一时半会也凑不齐，今天又是交首付的日期，所以最后我们决定先放弃这套房子，但是售楼处不同意退当时签的5万定金，我们说可以交一些违约金，但是也不行 就是不退 请问怎么办？本人想请准也律师咨询 所以请给我准确答案 然后我们联系一下