与承包方租赁的土地上建蔬菜大棚，承包方同意，发包方有权阻止吗？

为搞蔬菜生产经营，2008年与外村土地承包人依照农村土地承包法及农村土地承包经营权流转管理办法的规定，签订了土地租赁合同，合同中明确了双方的权利和义务，合同履行至今没有发生纠纷，但是，我在土地上建蔬菜大棚时，村委会却以村里的规定，在租赁的土地上搭建附着物，征用土地必须给村里40%的附着物补偿费，我不同意，村里就不让建，请问村委会的这种行为合法吗？盼回复，谢谢。