遇到老手骗子了怎么办

去年11月有一家公司找我签租地合同合，当时道路只有4米他非要说些5米 到时候改什么的制作一些列和实际不符合的情况，然后我把原有的仓库按他的意思拆掉了，之后我没注意看清签了一张未完成合同 很多地方都没写字，但他没签合同，后来我怎么叫他来他都不来签，拆了仓库损失了十几万，他说我们拆仓库管他屁事，然后1月的时候托人把定金退还给他了，因为证据不足，他有很多之前签订的不合实际的未完成合同不得已把定金退还了，然后过了4个月我把地租给别人了，他知道后到了6月份的时候他委托律师法传真给我了，我都已经把地租给别人了，现在12月了他来告我违约不把地租给他，我们催过他，他很多理由就是不来，电话记录只有半年拿不出证据，很明显是想骗钱，他们是老手了。现在被他们告了，又要求我们赔偿违约金。事隔这么久很多证据拿不出来，我之前的损失我能不能告他们应该怎么告。