买二手房，中介要交诚意金，卖方原因造成事没办成，还不退？

在美丽湾看中一套二手房，中介佘XX说交5000元诚意金才帮忙联系卖家继续商谈。当时手里没有那么多钱，中介就叫先转交3000元到他个人银行卡账户，回家后再转2000元。当时通过支付宝就转了3000元，佘xx起草签订三方诚意金协议“如果我们原因，5000元由他们转给乙方（卖家）；如果业主原因退还保证给我们。如果交易成功5000元将抵作房款，并签订协议”。并约定第二天与业主16:00-18:00继续商谈；第二天中午3-4点，他们多次确定要我们17：00-17:30多之间与业主在那套房见面！之后我们如期而至，在那套房等候，发现一间房太小不适合住人，停车场...房间一些水龙头漏水等很多问题，同中介沟通，说等业主来了具体商谈！但一直到晚上19:30分业主未如期到达！对此不诚信守约的行为，我们愤然离去，取消继续商谈的意愿！晚间佘xx与我们沟通，我们明确不能与此不诚信的行为继续商谈下去，要求退还诚意金！但对方明确不退换诚意金！第三天我们告知佘xx如果10点钱仍不退，一切后果自己承担！多次沟通无果，中介还要求继续与业主三方见面商谈！见面后明确乙方（卖家）未如期到达造成交易不能继续！要求退还诚意金未果。后来中介退还1300元，说剩余3700元是业主往返机票！！至今他们仍然不但不退还剩余诚意金，至今也没有收到公司提供的乙方联系方式。而且接触了很多其它中介，都没有人提诚意金一说。
 我们要求买房没有交易成功，是由于卖房没有如期到达造成终止继续交易。理应中介退还诚意金。
为了维护我们权利得到正常保护，希望律师能帮忙解答，我们接下来该怎么做？诚意金交给中介代理人员，中介说给了卖方；要求总公司协助处理，总公司回复说：甲乙双方与公司无关！！请问赵律师，要求退还诚意金的主体是公司还是中介代理个人？货还是乙方（业主）？！下一步如果起诉。怎人主体应该是谁？应该怎样做？