我能要回我的房租订金吗？

我在2011年2月23日通过中介签订了一份房租协议，（签协议当天没付任何款，只付了房东的房租定金500元，是中介坚持先签协议后再补款），协商在后面拿到房屋钥匙后再支付房租押金，房租费及中介费，后面因为个人原因跟房东协商不租此房退房（也就是是2月24日还没拿到房屋钥匙），经房东答应可以同中介要回之前定金500元（因当时付房东定金500元时，房东当时转手给了中介算中介佣金），但电话同中介沟通多次，都不予以理睬，一口咬定只要协议签了，不管居间是否成功，都要交中介费，一分不予退还（因为协议上写明签约的当天要交清佣金，而我没交一份钱的佣金此协议是否是合法有效的），所以想请问一下，象我这种情况，是否可以要回我的定金？
PS：如果可以要回，应该通过什么途经争取要回？ 问题补充：
但是协议上有一条“本合同未实际履行或未完全实际履行，而甲，乙双方或其代理人，代表人，承办人等有关联的人“再行达成房屋租赁交易的”，视为居间主居间成功，甲，乙双方应当分别按照与居间方的约定各自支付居间方佣金”我认为，我现在租的房子是属于没有居间成功的，因为“未实际履行”，也没有让居间方“再行达成”房屋租赁交易，可否这样认为？