我家大门被砸，对方反悔不愿意赔偿

我家在农村，隔壁人家建违章建筑，我妈多次跟他们协商，小房子高不要超过我们的，因为我家在他们下手，农村老法有规矩。那天他们造墙明显高过我们家，我妈一时冲动，跑到他们墙边爬上去敲掉了他们3块转，他们拿了大榔头到我家把大门给砸了，在砸我家大门过程中，我妈去阻止了，双方推阻的时候，对方手臂被砸伤。当天我们带他去了医院，拍了片，医生认定没有问题，只是肌肉损伤。
我们家有监控，他们砸门的过程都录了下来。后来我们去村里一起协商后，他们同意修复我家大门，费用由他们来出，调解过程我们都录音了。但是现在对方反悔了，换理由说对方手受伤了，要问我们要误工费，还有他们建筑的人工费。现在我们应该怎么办