房屋买卖合同纠纷

今日看了一商铺，觉得位置很不错，于是定下来，再中介处付给房东五万元定金。
当时中介带我去看房的时候说的是此门面再租，并且是三个门面中间的那个，并没有说是多少门牌号，故而我也没有注意门牌号。
和房东签订了买卖合同后我又独自再一次前往门面处，发现中介给我指的门面是16号，而合同上的门面号是18号，明显18号的门面比我看的16号门面小多了，我当然拒绝购买。
想到我与房东已经签订了买卖合同，请问我能否要回这五万元的定金。

我与房东并没有共同到门面去确认门牌号。