合同日期与签署时间不符

去年有个亲戚从我这骗取了一张带我签名空白纸，后来他在上面伪造了一份房屋买卖协议，上面的签署日期是2006年。然后他把我起诉了，我向法院申请鉴定笔迹形成时间。
最近法官给我打电话让我去调节鉴定问题。到法院之后估计对方心里有鬼怕鉴定出来，写了个说明承认笔迹是2012年形成，但还是要求鉴定笔迹真伪。
法官一直劝我撤销鉴定申请，说些天太热还要去外地鉴定之类的话。
还有一个比较奇怪的事情，我问法官要对方写的说明副本，法官不给说放卷里就行。而且当时调节的时候就一个主审法官，其他两个法官和书记员都不在，中途又让我出去等，法官和原告在法庭里单独呆了1个多小时之后才叫我进去。而且法官与平时对我的态度转变非常大变的十分客气，想当庭就给他写一个撤销鉴定申请的书面材料。我当时找个借口说回去再写。
我现在是否应该撤销鉴定申请？