二手房买卖，中介费什么时候交的问题，与中介产生纠纷

请问，我通过中介购买二手房，中介本来说要办过过户手续就收中介费。但是由于中介跟我约定的过户时间改了三遍，并且银行贷款问题还没有确定可以解决，现在还发现房子阳台漏水，综上，我对这家中介非常的不放心，所以想暂缓给中介费。于是跟为我服务的置业顾问沟通暂时先不给，反正后面还有很多服务，他也默认了。结果今早他们所谓的财务打电话给我，不分青红皂白，非要我立马给中介费，我说让他找他们的顾问了解情况，他也不听，说没有特殊情况，必须给！因此我也很生气。现在中介财务给我发信息说，必须三天内付清，不然终止一切服务，还要我每天给他们交滞纳金，请问这种方法，我该如何解决较为妥当？