二房东转让公寓，定金问题，谢谢！

我是二房东，有个公寓最近想转让出去，有人想接手我这公寓并给了我两万定金。双方没有纸面的合同，有个定金条内容如下：“xxx整租xx公寓定金20000元，至3月31日止交接，违约作废”。 剩下什么合同协议都没有。约定对方交定金后我联系房东交接。
    当我给房东打电话谈我要转让的事情，房东提出了新的条件。但房东提出的附加条件想要接手我公寓的这个人不同意。由于这个附加条件是房东提出来的。我认为这个定金只针对我和他的合约，跟房东无关，所以房东提出来的条件与我无关。他不接受我认为他构成了违约，他拒绝接受房东的附加条件请问我否可以扣留他的定金？？
    问题补充：
    昨天要接手我公寓的人来我这说我违约，认为房东提出的条件不是我们原先约定好的，不接受房东的条件，不想接手我的公寓了，并提出要要回定金。整个过程我有录音，既然是他不想接手公寓了，我认为是他违约了，我不退他定金可以么？