房产中介费用问题。 4月份通过一家房产中介卖房，和买家签订合同

房产中介费用问题。
4月份通过一家房产中介卖房，和买家签订合同。当时买家支付一万定金给中介，中介把其中的六千四给我方，三千六中介以买方需缴纳中介服务费为由扣除，给我方一个服务费收据。签订合同规定6月底买家将首付款汇至我方。
签订合同规定如果我方违约，我方将返还给买方两倍定金，且承担买卖双方需交给中介的服务费以及中介其他实际费用。如果买方违约，定金1万归我方所有，且承担买卖双方需交给中介的服务费和中介其他实际费用。
6月底，买方未支付房屋预付款，违约不再买房。但买方也不承担违约责任，不向中介支付双方的中介服务费。
现在中介公司以买方不支付中介费为由，不退还当时扣除我方的3600元。让我们去联系买方要钱，他们交给中介费用后才退还我们。
请问我们是不是应该向中介要回这笔服务费？如果维权起诉的话，是起诉买方还是起诉中介？是起诉中介公司还是起诉中介公司里给我们办理业务的销售人员？
望专家律师指点，谢谢！