没有合同可以要违约金吗

我有一套毛坯房，11月初，有个朋友和我商议，想租，但是要求我把厨房和卫生间装修下，他一个月后入住。商议的价格是第一年4000元，第2年4500元。当场给了我2000元订金，我没有打收到条。收到钱后，我开始装修，但是一装修花钱就刹不住车了，就和朋友商量，我感觉钱给的少，不想租给他了，他又托别的朋友跟我说，抹不开面子，最后定价5000元一年，装修完后，我给他打电话，叫他过来交钱，他说过完年来住，我就有些着急，你这不是让我白闲一个多月吗，不行你别住了，你把卡号给我，我把钱退还给你，他说那好吧。在他同意后，我觉得自己的房子装修的还差点，就又花了1万多，把家具和家电该添置的都添置了，12月初通过网上招租，租给了别人。这中间我等他把银行卡号给我，他一直也没跟我联系，我房子租出去后，我跟他联系，想把他的2000元退还给他，他到好，说我违约，跟我要500元违约金，我该怎么办？