关于宅基地问题

你好！我家现在有个问题想请教一下，如何办理。我是2013年左右建的房子，当时建房子用到别人的地，占用别人的地差不多是2分多左右，但是我们用了5分的地跟他们换。当时对方也同意留一条路让我们可以进出，现在对方又不同意让我们可以进出，说只给我们50公分的路。我们也有跟对方说有什么条件你开，我们能满足的一定满足，但是对方一直不说，我们一回去就跟我们找麻烦，老是过来闹，辱骂我们，请问我们要如何处理。