房屋租赁纠纷

律师您好，我想咨询一下房屋租赁的问题，2005年到2016年五月，一直和自己认识的人租赁房子但没有签订租赁合同，但是在2016年五月底突然被告知说让搬走，那个房子要重建，由于没有合适的门面房加上搬家成本过高所以一直没有搬走，但是在六月中旬又被告知让当天晚上搬家，明天一早会来人拆房，然后迫不得已也只能当天晚上搬家了，搬完家后的一个月左右又被告知说是有半年房费未支付给他，但是在我的记忆里我们都是先付费后交钱的，每次付完钱他也是偶尔给开一张字条，结果那一次他就拿出来一张自己手写的纸，记录了具体的情况，其中显示有半年没有交，前五年我们是和他的亲戚打交道，不是直接把租赁费交给他，而且我们觉得他自己手写的并没有什么法律效力，所以就一直没有搭理他，结果今天上午接到电话说是他的律师，中午想找我谈谈，那我应该怎么办？