购房款退晚了

电话记录
2011年4月20日，星期三，栗、到我办公室来定房，算房款后去银行打款，共计252000元，下午签的购房合同。
4月23日，星期六、16：49分栗给我打电话问什么时候可以去办按揭贷款。
4月25日，星期一，16：27分我给栗打电话说按揭贷款现在办不成了，要得等一段时间，要不你一次性交清，在给你少一万元钱，栗说：我做生意要用钱，我说：要不你就不要了我想办法把钱退给你，栗说：可以，栗就问我什么时候退钱给我，我说：是这样的，钱以经打到卖家账户上去了（也就是原房主），卖家是不可能退钱给你，我给你想办法把房子在卖掉，我收这个钱退给你，你得等几天，栗说：可以，就这样直到5月22号星期日上午另个买主才把钱给我，我下午就给栗打电话让栗过来拿钱。其间栗给我打电话要钱的记录如下：
4月28日，星期四，16：08分   被叫
5月4日，星期三，09：10分    被叫
5月5日，星期四，16：51分    被叫
5月9日，星期一，11：00分    被叫
5月10日，星期二，16：51分   被叫
5月11日，星期三，17：32分   被叫
5月15日，星期日，15：49分   被叫
5月18日，星期三，17：40分   被叫
5月22日，星期三，16：51分   主叫  我让栗把手续带齐，过来把钱拿走。
5月24日，星期二，10：41分   被叫，栗、说到郑洲办事，回来就到你那去把手续退给你
5月29日，星期日，16：51分   主叫  我又给栗打电话，栗说他正在办事，办完事就过去，我说：我要下班了，要来你就下午来吧，栗说：我下午在给你打电话。
5月30日，星期一，10：08分  被叫  栗给我打电话说，我给你起诉了。在你没通知我去拿钱之前就给你起诉了。
从4月28号至5月18号期间，栗每次给我打电话，我一直在给栗解释，让栗放心，我肯定会把钱一分不少的退给你，我也跑不了。
 
请问，我该怎么办？