关于房屋租赁纠纷问题

律师您好：
我想咨询一下关于房屋租赁发生的一些纠纷问题：在2011年12月的时候，因为签的合同租金太低我们想提前解约，我曾经给租户发了一个协商函，协商希望他能在收到函的一个月（因为合同上写收回房屋需要提前一个月通知）和我们终止合同，提前把房屋退还给我们，然后退还给他一个月的违约金（1万元违约金）。但是租户给我们回了一个函说明不同意。我后来决定还是把合同执行到到期为止（到期日为2013年3月12日，签订日是2009年3月12日），因为觉得即使到法院走法律程序的话可能也要差不多要6个月左右，那样的话差不多也已经到合同到期了。后来，租户给我打电话说他现在要订明年的货，如果我们续租给他的话，他就订货，我们提出涨房租，但是租户没同意，我说那只能你就到合同到期为止了，他说他现有货就卖到年底，我说你如果没有货卖，你可以提前把房交了，这样你也不用再负担这3个月的房租，我也可以找下一家，这样我们都合适。这个过程我们都没有写什么文字确认的东西。在12月12日交房当天，我们在交接的当天，和下一个租户也谈好，交接的时候，在交接的单子上写的“**对所租赁的房屋各个设施都确认无误，同意退还上一个租户的押金。房屋于2012年12月月12日交予**，房屋交接确认无误”。然后，现租户和原租户都签字了，原租户写到收到退还押金**元。现在原租户请律师给我发了一个律师函，说因为我去年12月的时候给他发的那个函所以他们应我们的要求提前交房了，让我赔他违约金，请问律师，他这样的要求合法吗，我们等了3年9个月，根本不差这3个月，是考虑他，让他能减少亏损，现在他倒反过来要我们赔违约金。我们应该怎么办，下一步。