坟地占地纠纷

08年8月3日我父亲去世，当时一帮忙的邻居说是他媳妇的土地同意可以占用其一部分（不到一分地）土地做为坟地安葬我父亲，但在下葬后两天，另一邻居（邻居媳妇的哥哥）说是他的土地，说我们未经他允许占用了他的土地，提出两个条件，要么我们迁坟，要么要我们用产值更大的田地进行交换，明显是非常不合理的要求，当时考虑到才安葬了我父亲，不宜再迁，含糊答应了他，互相也没立任何凭据。现在他因要修房子占别人的地，把我们原来换的地（他认为是他的地）拿去和人家换这样把事情引出来了，我们现在就说的是当时是让他种，不是所有权的交换。房屋占地土地所有方要求要3300块钱把整块地一起卖给修房方，修房方要求我方承担这笔费用，目前本地坟地占地的赔偿是最高500元一个（邻里间互相协商的价格），请问如果通过法律途径应怎么解决此事？请详细分析解答！谢谢