房产居间协议上有导致违法的条款，可否不继续履行并申请解除？

本人在上海有一套房，产证上是三个人的名字，该房屋满五年但不唯一。
在和买方、中介签居间协议时，三个人先根据条款签了字，其中一人有事走了，其后中介在协议上又加了一条“卖方承诺此房屋唯一，如果过税时通不过则个人所得税买卖双方各承担百分之五十”。这时买方不愿承诺，后在中介反复引导下，其中一个人签了字。后来有事先走的人看后认为房屋是不唯一的，而要承诺唯一欺骗交易所，这是违法的行为，反对按协议继续下去。
现在是否可依据居间协议上有导致违法的条款，不继续履行该协议，并申请解除居间协议？
买方已收定金，如果解除是否算违约，缴纳违约金？