有关于强行收回租赁土地使用权的问题

我问村里租用了一块土地，租用合同是跟属于该村的一个队的队长签订的，合同上盖的是该村民委员会的章，签字的是该队长，土地租金也付给了队长，在该合同生效的半个月内我已在该土地上搭建了用于经营的房屋，现在该村村主任要强行收回该土地，给出的理由是该块地是农业复耕地，不对外出租，并且不给予任何经济赔偿，但据我核实了解该块地以前是由河道填充而成，而且在该区域内也有其他租赁者用的是同一性质的土地，后经过协调村里同意通过土地置换来解决问题，但随后又反悔该村主任并报案说本人威胁恐吓他，事实是我并没有威胁恐吓。我想问基于上述情况我可以要求赔偿损失吗，如果通过法律途径可以取得赔偿吗，对于村主任的这种污蔑行为我要通过何种形式来维护我自己，盼复，谢谢~