本人于近日通过贵阳优居中介新世界店买房，看到一套房子觉得不错，然后中介劝交意向金，可优先买房

本人于近日通过贵阳优居中介新世界店买房，看到一套房子觉得不错，然后中介劝交意向金，可优先买房。我交了5000意向金后，等待中介给我回复。期间，我并未与房东有任何联系，并且也没有得到与房东谈价钱的机会。之后，我告知中介，希望与房东坐下来谈谈此房的价钱，中介告诉我，他们已经单方面与房东谈好价钱。我对此表示不满，中介的做法并没有得到我的同意，也没有征询我的意向价格。此后，我希望与房东通过中介谈话，房东在电话中明确告诉我，因为家里原因，此房不卖给我。而我甚至还未来得及谈论价钱问题。所以，此房并未交易成功。我也并未与房东签订任何合同。此后，我要求中介退还意向金，中介以我要和房东讲价造成交易失败为由，不予退还意向金。请问，这样属于合法吗？我需要到什么部门进行维权呢？