二手房买卖

二手房买卖合同约定一次性付款，签订合同时交付定金，是中介介绍签约，现买方不履行合同，要求降价，经过协商不能达成一致，当时将购房合同和发票压在中介，房产证还未办理，我要求解除合同中介退还抵押资料，中介以未达成协商一致为由不退，但是由于买方降价太多根本无法达成一致，合同中也约定违约条款，不退还定金，按房价一定比例支付违约金，请问我应该采取哪种方式解除合同，有什么需要注意的，可否在未协商一致的情况下要求中介退还房产资料解除合同，不退还定金，还是要通过起诉解除合同解决。