土地置换一年，对方要收回他的地

2013年我们大队建大棚征用种植地，我家有5亩地不同意签合同给大队，然后经过大队把已经签了合同的王某家的5亩地地和我家置换，置换时经大队会计拟了一份合同，大队给王某别的好处王某同意和我家签合同，可是今年王某要种他家的地，因为大队没有履行他的承诺，这种情况我有和王某的合同好不好使，我该怎么办。