农村土地纠纷

我们村有个人想建房，但是需要一块好地，正好呢我家的地与他们家的地挨着，只是我们家的地方正，好建房。他们家的地呢是长方形的，不好建，他们就想与我家换，我家认为是邻居吧，又不好意思不给。但是他们家的山正好在我家旁边，我家就是依着这山建的，就想用我们家的山和地与他们换，这样呢，到了冬天背面有个山挡着，不会太冷。单换不行，地和山呢一起换，因为我家没人，都在外地，他们那时就答应了，但是等他们建房的时候要土把地基填高，又把当时用来跟我们换的山给挖了，填了地基，现在变成平地了，变成平地后可以建个仓库，又舍不得了，就不给了，反正他们的房子也建好了，我们又不能给他拆了，就赖着不给我们，我们呢又不想跟他一样赖，想正当解决，想请专家帮我分析分析，怎么合理。