购房预付款应不应该退

麻烦律师大哥，我咨询个问题：我有一套80多平方的才办了产权的普通住房要出售。有人以27万分期付款方式购买时，张X通过熟人来找我要购买此房，由于张X也是熟人，考虑是现金交易，我们当时口头协议28万成交，张X因租房到期，房东要收回房子，张X急于要购我的房子，当场支付了我6万元定金，并约定10天后张X筹够余下22万给我时再办理相关手续和交房，而我由于不太熟悉这方面知识，只写了一张收到张X购房预付款6万元，并注明交了余下22万时办理购房手续。10天后到了交房时，张X以各种理由反悔，并要我退还当初交的6万元钱。而我已用那6万元钱投资了，如果退的话就会对我造成3万元的经济损失。请问张X的要求合法吗，他的行为算违约吗，我可以要求他赔偿吗？我应该怎样做？谢谢。