我们该怎么办

律师你好,98年我们家因拆迁,经我舅舅意见(因我舅舅才有跟我外叔公联系)盖了现在一直在住的楼房(房楼一层面积是40平米,加上二三层共150平米左右,原来旧房是已经倒的土房,有照片为证),这块40平米的地是我外公的堂兄弟的,当时盖的时候,我们以为我舅舅已经跟我外叔公商量好,但后来到到房子盖好第三年他们才知道(我们不是故意要隐瞒这事,按我舅舅的意思说他们家境好,不会在意在块地,又怕我外公和外叔公不同意,才现斩后凑),当时解决时我外叔公也同意了而且写了条纸条主要内容是证明这块第是他们家的,我老爸也当场签名(纸条只有一份在我外叔公那),口头上有答应说如果以后要拆迁,我们就按拆迁时政府空地补偿给他们,中间这十来年来来往往,我外叔公他们和他儿媳都没在提这事,今天我外叔公和他二儿媳穷突然来说这块地我们没经过他同意旧盖,按法律来说我们是非法占用他们的地(因为我们这一直在拆迁)如果到时拆迁时我们不跟他们商量(言外之意是说他们不可能只要空地的补偿款),他就告我们非法占用地,到时我们损失更大(他儿媳读过法律),如果我们按照他的意思在空地补偿再加额外要求(现在还没提是什么要求),我们旧觉得很不合理,必竟他们已经知道我们盖这房子十几年了,中间十几年都不提,如果早几年提的话我们还可以考虑他把他们盖房子钱直接算给我们,我们另外打地主盖,但现在物价跟十几年没法比,而且拆迁后这又是区中心地带,我父母都是农村人,那时到处错钱很不容易盖了这房,现在碰到这事我们真不知道怎么办???求教律师您了,也祝你中秋节节日快乐!顺便在提一下今天他儿媳跟疯子一样说我们没经过她们同意盖房,一直在强调我们没有直接跟他商量,而且说我们在欺负他公公老实,非法占用他们地,估计她今天有带录音笔之类的,以后这些话可以作法庭证据证明我们非法占用。