房产纠纷

请问律师：
    您好，我想咨询一下，我（房东）和买房人签了购房合同（房屋买卖合同）正式合同，签过合同之后，买房人就把钱给中介公司了(转账），中介公司当场又将钱转入我的卡上，但没有成功，由于当天我的银行卡有问题，即拿错了卡，以致无法转入，之后我、买方、中介三方讲好第二天上午我来拿定金，买方拿收据，可第二天上午三方都到场了，买方讲他有两套房都有贷款，分别是50万、80万，银行不能给他贷了，他又说我卖方没有拿到购房定金，意思是合同无效，然后他让我把房子拿出去卖，他说对我没有造成什么影响，我问中介，中介讲合同签的是无效合同，我不同意这样讲，我表示坚持要按照合同去做，遵守合同。我执意向中介要回购房定金，但中介不给我定金，说买房人不同意，我讲同不同意，定金也要给我，因为合同一签订，就生效了，合同上也讲了甲乙双方签订合同就生效。我想问的是合同到底是不是有效合同？因中介、买方都讲是无效合同，我认为是合法有效。我很生气，一家人四个脑袋都不够用，小夫妻俩、老夫妻俩看了房子前后折腾了一个晚上，到晚上9点多，我还没吃晚饭我还讲不然先交了定金，明天再签合同，中介让我今天签，对方还积极地付了5万元定金。可第二天就反悔。

    以上问题我前几天已咨询过律师，讲合同属有效合同，但现在买方从中介那里拿走了定金5万元（全部），拿走之前我特意打电话跟中介讲，你不能把定金给他，否则你中介要负责任，但中介还是讲他（买方）自己从公司财务拿走的，我讲你公司财务要和你讲这个事，你和你单位领导同意他才能拿走。总之，买方拿走钱，中介、买方都未通知我，是悄悄拿走的，我是打电话问中介才知道的。他们这样做是什么行为？违法吗？
    所以，我想问的是中介该负什么责任，怎样赔付金额数目。中介现在称，钱是买方委托中介（后半句话没说），合同写的清楚交定金5万。买方已告诉我，他不买房子了，他就这样直接通知我，不买房子了，他买房人可以如此随便。要买房他就与我签合同，交定金给中介，不买房了就到中介那里把定金全部拿回，他就认为事情就到此结束。我想追究买方、中介的法律责任。
    请问律师往下怎么操作，太可恶了？现在我的房子不能卖，卖是一房两卖。谢谢律师帮忙。