我是房东，有租户到约定日期未租房子，定金是否应该退还？

3月下旬有个人要租我的房子，当时说好是4月1号签合同入住，同时交了500块定金，当时中介也在，口头上说了如果到4月1号不来签合同，定金不退的。后在3月底的时候我还打电话告诉那个人别忘了4月1日签合同，那个人说4月1号有事来不了，要延到4月2号，到4月2号又说在老家上坟来不了，还要后延。由于我也有事，不能老守着等那个人来签合同，4月3号-5号我也回老家上坟，不在当地，回来后我就将房子租给了别人。隔了几天，付定金的那个人说他在别处租了房子，并要求我退还500块定金。由于我认为是他违约在先，让我的房子空了好几天，造成的损失他必须承担，而且在付定金的时候有口头协议，所以拒绝退还定金。然后在接下来的一个多月里，他隔三差五就打电话发短信对我和我的家人进行威胁，说要找人来找我和我的租户的麻烦，到时候就不是500块钱能解决的了！
我就想咨询一下，对于这种情况，我应该退还定金吗？对于他威胁我的行为，我已经报警备案，但是警察也无法处理这种纠纷，说除非他真的做出了什么事！那要等他真做出了出格的事，那警察再来处理不是晚了嘛~所以我还想咨询下，对于这种情况我该怎么解决？