本人一套房屋在售，于中介处找到买主，买主向我交了一万元定金，并定于7月20号之前签定购房合同

本人一套房屋在售，于中介处找到买主，买主向我交了一万元定金，并定于7月20号之前签定购房合同，认购合同约定签订买卖合同的时间内,甲方不得另行销售本房屋或拒绝签订买卖合同,否则，应双倍赔偿乙方定金，超过约定时间,乙方未能签订买卖合同,则乙方所交定金作废,甲方不予退还。由于本人工作繁忙，7月30日仍未见中介通知签定购房合同遂致电中介，中介称乙方贷款有些事项较拖延请我宽限几日，8月2号我联系中介由于拖欠时间过长我不退还定金亦不卖房给乙方，中介威胁我要赔偿双倍定金，我认为在此过程中本人并无任何违规行为，不卖房且不退还定金符合合同规定条款，请问律师我的行为是否违规？