农村土地互换

各位大状
        你们好！
  我的情况是，12年前我父亲与我们同村的人互换了一点土地，当时是我们家用一块柴山地换他家30年前老房基（30年前他家搬出去建了新的房子，所以老房子拆了，一直空在那里），后来我父亲在那块地上修建了一个加工坊，经营了几年后就没有开了，后来一直空到现在。前几天我们村另一户挨着的要拆老房子从新建，就跟当初我父亲换地那家人商量想买，后来那家看有钱赚，现在反悔说当初没有同意和我家互换，因为当时也没有签什么协议合同之类的，都是口头同意，加之现在已经十几年了，今天我堂哥来电话，他们居然强行把我家建的加工坊拆掉了。因为我毕业后一直都在外地工作，很少回家，父母也跟我在外地生活。所以我想请问：第一，之前与我家互换土地的人现在反悔，他有权拿回去吗？在没有经过我家的同意，他能拆掉我家建的加工坊吗？第二、现新建房子的第三方他未经过我家的同意，他说他现在与另一家已经商量好了（以土地是他家的），拆了我家的加工坊，他是不是违法的，他应该承担什么责任？如果我回家要维护我权益，我该怎么做？谢谢了，很急！