买方违约定金退吗

今年8月通过中介签订房屋买卖合同，我是卖方。签完后中介拿走房产证办理相关过户手续，11月底买方提出不买因为房产证上写的土地使用年限为45年，签合同时买主看过房产证我们也没隐瞒这一事实。现在提出降价否则不买。降价金额离谱我没接受。现在买方要我们退定金。根据合同买方属违约我们不退定金1万元。双方有紏纷。中介以有纠纷为由扣押我房产证。问中介有权这样做吗？法律上我们应退定金吗？谢谢。