。我把持有集体土地使用证的房屋卖给附近村的村民，签了房屋买卖协议并交了定金

。我把持有集体土地使用证的房屋卖给附近村的村民，签了房屋买卖协议并交了定金，他现在反悔说不买了，理由是集体土地说我没有处分权，是违法买卖，他买了以后也过不了户，说是他在不知情的情况下误签订的协议不生效，要求退还定金给他。我觉得协议也是他写的，他签协议前也没有问，房产证方面的证件也给他们看了，现在签了又要后悔，没必要退还。请问我可以不退还定金吗？协议里头这样约定的:成交后暂付定金五万元，如若买方违约定金不退，卖方违约定金退俩倍。
     3、今后办理各种手续卖方协助办理，有关费用买方负责。