我能否要会这2万元买房定金

律师：你好！房产中介公司与我和卖家签订了居间合同，卖家到手价是149万，交易中其他费用均有我来负担，该房尚未满5年，营业税为5.5%，为了避税，我提出能否做低10万，也就是139万去房产交易中心办手续，中介和卖家表示同意，写在居间合同的其他约定里。并付了2万定金给了中介公司。后来，我家人觉得此房在同地段内价格偏高，不想要了，想要回2万定金，可中介不同意。我是否以上述避税是违法的这条提起诉讼，请求此合同不合法，不合法的合同应该可以作为无效合同吧。请陈律师能及时回复我，拜托了。