因装修问题导致家里被砸，人身受到威胁

起因是年底我家装修，把卫生间和厨房相连的一个墙（不是承重墙）拆了一半，卫生间太小，只有2*1.5平米大，厨房比较大，为了方便使用，在不影响楼层安全的情况下我们做了小小的改建，因为楼下的锅正好就在我们新建的便池下面，所以楼下的住户三番四次到我们家里来扯皮，我们就找了中间人进行调节，在给出很多种方案对方不接受的情况下，我们答应了改，但是这个费用必须对方支付，对方却只想他们找人，我们付钱，在几次商量未果的情况下，对方把他们家的亲戚都找来了，7,8个人，带着铁棍和锤子，将我家的防盗门，防盗窗，窗帘和外面的墙面损坏了，并用带来的凶器对我进行了威胁，因为我当时没有开门，所以我人身没有收到殴打，但是他讲武器拿到我面前进行了威胁，导致现在我心理有阴影，晚上睡不好，白天上班没精神，老板多次告诫我再不调整好的话就要开除我，现在楼下的把我们投诉到城建管理站，来我家看了之后，找我爸爸和楼下住户的男主人进行了调节，但暂时没有结果。
    我们回家看了一下图纸，上面确实有乙方不可私自更改房屋结构，我想知道这句话到底说的，是不可以更改家里任何一个墙面的结构呢，还是指不能动主梁结构的意思呢？这件事会对我们家造成影响吗？如果我们也想起诉楼下的住户，可以以什么理由去起诉呢？