和中介卖家签了居间协议，没签买卖方合同

定金付给了上家。现在不想买了，原因是上家隐瞒和楼下1楼的关系，楼下年初建阳光房，造成隐患，买时问上家，上家说不知道楼下建，知道时已经建好。我们错在非常草率，在中介促使下签了居间协议，后去物业才知道，上家和楼下1楼为这个事情有过矛盾，上家几次找物业解决，和物业很不愉快，物业的说1楼属于违章他们已经给房产局上报，备案1楼违章，物业无强拆权利。现在我们很不舒服心里，不想买房了

那么这种情况下我们的定金能要回来么，同时居间协议上写如果单方违约要付中介中介费（我们没签买卖合同）。还有居间协议上写签协议后的15天内要去签买卖合同，不然算违约。