土地承包合同违约

2008年，我与吕某签订了土地承包合同，吕某承包了我一块39亩土地，租期至2018年3月31日。期间，吕某在我不知情的情况下，又把此地转包给了李某，李某在此地里盖了三间房屋和种了树苗。承包到期之前的3月15日，我给吕某打电话，让他在3月31日到承包地交接土地，他答应了。我把此地租给了刘某，和刘某签订了土地承包合同，合同中的违约责任里这样规定的：两个月后，即2018年5月31日，李某仍占有承包地，则余款壹拾万元不再支付给我，我并承担每天贰佰元的违约金（从2018年4月1日起计算），直至李某退出为止。到了3月31日，吕某没有到承包地，不再出面，我和现在的承包人将李某赶走，留下了三间房屋和树苗。刘某不敢使用三间房屋和树苗，让我通过法律途径解决此事，为此我起诉了吕某和李某，判令他俩违约退出此地，并承担我和刘某签订的合同中的违约责任，即违约金15万元。这样可以吗？法院能支持我吗？我该怎么办好？