关于口头协议

老家在农村，打算在老家建栋房子，我和一亲戚单（以下简称单某）某都在同一个村，同一个生产小组，现在生产组有一块集体用地，都用来建房了，按照村里规定，因为单某原来已占用的集体土地建了房，所以他不能再占有土地用来建房，但这块地原来是分给他使用的，所以在2012年，我和他商量好（也是经过组上人同意的），用我自家的地和他交换，给我建房用，当时他同意，并且我还出钱要他帮我下了房屋基脚。为这事，我从长沙请假开车回家5-6趟，每次要两天时间，而且还专门请了设计师为房子做了设计，并出了设计费，中间有一次回家，车子还出了交通事故，为此损失近2万元，因为种种原因，我没有及时把房子建好，因为当时都没有种在家种田，置换土地也没有明确指定是哪一块，基本上说好了随他挑我家哪个地方的地，今年，我决定回家建房，单某现在反悔，说我们只是口头上的协议，不同意我家在这块地下建房，（村组上的人都知道这回事，而且我当时出钱他还帮我下了房屋基脚）
请问。这种口头协议有效吗.我如何维护我的合法权益！