我的订金应不应该退还

我去年十月份看了一处尚未交工的二手房。看房时，卖方口头承诺：来年五一肯定交工。然后我们签了协议。因为交工期限已经口头承诺了，所以就没写入协议。我预交了两万元的订金。并且末尾写了：如果买方反悔，订金不退。但是今年五一没交工，至今九一都过了，也没交工，所以，我提出此房不要了。前几天，我在电话中问卖方关于五一交工的承诺，他承认。（我做了电话录音）但是他说是开发商没交工，责任不在他。请问：在这种情况下，他的口头承诺有没有法律效力？我的订金应不应该返还？谢谢！