二手房买卖中以房屋墙体有改动为由拒绝购买打官司能赢吗

我通过中介买的房子，签了三方合同，我不想要房子了，中介要我支付4800元中介费，我以以房屋墙体有改动为由拒绝购买，拒绝履行合同，
房子是装修的，有一壁墙被原业主打掉了，做的柜子壁，但是这壁墙不是承重墙，合同上有（该物业是以签订本合同时的现状出售绘买方，买方已作实地查验），写的有误。