邻里纠纷

我家在拆迁的老房子上建盖新房子,但房子盖到三分之二以上后受到邻居的干扰,并赶走帮我家盖房子的人,到我家辱骂父母.原因是我家的房子太接近他家的太阳能,同时他们家要求我家的房子房檐不能超出墙面.而我家未占他家一寸地,主要是他家先前占下来我家,因为我们都是几十年的邻居了,当时也没有立下什么协议,只是口头上叫他家不要占下来,他家当时也说以后不我家盖房不会干涉,也不会影响.我父母多次与他家协商让我家瓦出一点墙,但无效.
在争执时,我家也同意不超出了,但他家还是恶语辱骂,我的父母就说不让他们家的废水从我家排,也只是口头上说,并未做任何行动.而他家于另天就拉来砖\水泥在我家老房子的排水沟新建一条沟,这条沟严重的影响了我家老房子安危,但组上调无效之后,他家不顾我家的反对执意建盖.之后,我们家强行拆除了那条沟.另天,他们家儿子拿着斧头将我家新建房的一角砸了.
现在他家还在我家赠偿损失,问这一切到底怎么算?我家的难道不是损失吗?