民事赔偿

事情的起因是，我家后院有一块空地，后面的山是别人家的，因为下暴雨，他家山塌方压到了我家后院自留地至墙角。严重影响我们家居住安全。因调解几次，山的主人都不同意我们把压在我家后院自留地的泥土拉走，出面调解的村委也不说公道话，迫于无奈，实在没办法，在村委多次的调解下，只好答应了他一些不合理的条件，其中要给他留一点五米宽的路，(原本就没有路，要求留路的那个地也是我们家出钱跟别的邻居家购买的。还有就是他们家的山到处都可以上，这不是必经之路)。还要给一些树木做补偿，然后我们家只好答应了。泥土拉走以后(拉走一小部分)，我家把挡土墙做起来了，不过我们家没有给他留路，但树木有补偿给他。后我们把围墙做起来了，他始终不同意。后面又叫了村委和镇政府来协调。我们不答应留路。说原本没路，为什么要留路，要求留路的那块地原本是我们出钱跟人家买的。我们觉得不合理就没有留路。就在昨天。他纠结了五个人，私自把我们家围墙强拆了，当时我们都没在家。我想问的是，他们应该承担法律责任吗？还是我们要承担违约责任，我们昨天有报警，但派出所说我们违约在先。说拆我们的墙好像理所当然。他们迟迟不作出处理。现在怎么办？