农村换地建房

老家与俩庄邻在二十六、七年前换了一块责任田，当时老父亲已经说明是准备把这地作为我家的宅基地的，经过互相协商后换地成功。由于意识不足，当时没有签订协议，也没有见证人。2004年，家里在这块地上建起了鸡舍养鸡，无人阻止。前些日子，老父亲准备在这块地上建房，就去申请准建证，这两个庄邻也盖了章，前后邻居乡里同意了，不久家里就拆了鸡舍。建房保证金交了，昨天，土地办的工作人员到现场画了地基线。今天，家里早上挖机来挖地基，竟然遭到这两个庄邻的阻挠，一个先是站在挖机前，叫挖机师傅停止工作--"不要挖"，一个说“我叫你不要建你怎么还建”。打了110，110了解了一下，说：“这个涉及土地合同纠纷，他们无法处理。”这时候，其中一个反悔换地的庄邻的儿子来了，嘴里说了一些脏话，阻止挖地基，停止盖房子，一会儿走了。后来，村里干部来处理了，突然，来了一群非常嚣张的人，有五六个吧，其中一个又是那个庄邻的儿子，这群人来了之后，直冲到施工现场，用手指着我的鼻子：“你算什么东西？**（脏话）的有本事就盖瞧瞧”“小东西，你不知道我是谁，你不知道我在**（地名）的厉害。”“**（脏话）的东西，你本事不小，敢在我家地上盖房子。”事后得知，他家也想在这块地上盖房子。
    请问：这块地使用权现在到底属于谁？我家有在这块地建房的权利吗？谢谢！