依法农民在承包的土地上建蔬菜大棚发包方有权制止吗？

为经营蔬菜大棚生产，我与外村土地承包人依照农村土地承包法及农村土地承包经营权流转管理办法的规定租赁菜田土地，并签订了土地租赁合同，建蔬菜大棚土地承包方同意，村委会土地发包方进行阻止，不让建，蔬菜大棚属于农业设施建设，是国家法律鼓励和提倡的，不属于非农建设，也没有改变土地的性质，承包方与发包方签订的土地承包合同中也只约定不准利用土地搞非农建设，我建蔬菜大棚没有违约承包方与发包方的合同约定，依法我使用租赁的土地，是按照租赁合同的约定行使土地承包人的权利和义务，土地承包经营权是一种物权，其权利和义务是由法定，请问村委会的这种行为合法吗？盼回复，谢谢。