当时没成的合约有效吗

家中有一块屋地，由于80年代时，家里穷，怕事。对方凶恶，强给对方签了合约说换地，强行老人家打了手印，年轻人都不知道的。但一直没成交，对方的地我们都没有要，我们的地他们一样没有动。村里的百分之90都认定是我们的，还有的人是怕事说不知道，没有一个人说是对方的。直到现在，我们想在自己的屋地起屋，对方出来闹事，说不给我们起，那是他们的，白纸黑字写着有。后来叫派出所的人来，结果派出所的人不帮我们，反而话有字就是他们的了，现在叫对方另外换一块地给我们，我们根本就不要他的地，过了这么多年现在才说换给我们，请问这样的合同还有效吗，我们可不可以要回自己的地呢。