房屋买卖合同问题

周六中介陪我去看房子，两套中我比较中意其中一套户型但是楼层不喜欢，由于是准备用来结婚的，而女朋友又是周一才能来看下房子，所以在中介的催促下，付了意向金，并我先签署了中介的房屋买卖合同，佣金确认书，房地产买卖居间协议，，（我当时向他说明了我并没有马上定下来买的意愿，只是想保留这个房源到周一让我女朋友有看的机会，中介也跟我说我不想要随时可以拿回钱，签署的协议也会作废）当天晚上中介跟我说，他们公司以外有别的中介在谈，我跟他电话联系了解了情况之后跟他说有什么变化再联系我，晚上11点半中介电话打给我响了一声就挂了，当时很晚了我以为打错了就没回，结果周日早上中介跑去盐城直接把意向金交给了卖方并让对方签署了合同，意向金转变成了定金，我现在不想要这套房子了，中介跟我说买卖合同已经成立没办法更改，要么等买家去法院告我赔偿他在中介房屋买卖合同中规定的总房价的20%，以及中介费总房价的2%，另一条路就是按照合同买下那套房子，请问我在不买房的前提下该如何做来保证自己的利益呢？