自留地被占，求给意见

30年前，我家要建房，三间两层，门前的场地其中一间是别人的，当时我家用另外一块自留地跟他换了，当时换自留地没有什么手续，但有些村民都是知道换的。现在家里的房子太旧了要危房改建，我们想把门前的场浇一下水泥地，然后他们家就不让我们浇，说我们当时没有用自留地换，我们门前的自留地还是他们的，来闹事，村里协调也不行，因他们家比较蛮横不讲理，村里见他们也想多一事不如少一事，敷衍了事，让我们让出自留地，然后找镇信访办，他们也推诿叫我们找村里。请问律师我们该如何维护自己的合法权益。