我爸爸1990年生了我家生了第二胎，然后罚款，爷爷奶奶一项偏心就看不起我们家，小的时候去爷爷奶奶家连口水都喝不到。处处与我们家作对，我记得小的时候爷爷奶奶把家里用的东西都杂光。我们家造围墙就把围墙拆掉，我爷爷却为此弄得受伤，就对外面的人说我们爸妈虐待他，别人因此就相信他说的话。在外人的眼中我是一个不孝的儿子，但是我问心无愧。以前逢年过节，我爸妈叫我和哥哥买了东西拿过去。我爸爸妈妈还为我爷爷做了小城镇，前几天我奶奶死了，我们家去参加丧礼，我爷爷竟然把我们敢出来，说休想来吃白饭，说活着不来看死了就马上来，可是我们家连我奶奶生病进医院都一个人没来通知我们，死了也没人通知我们。之后就说要与我爸爸脱离父子关系，要要把当时我爸爸结婚的时候给的两间房子拿出来，再要付给他12万元的养育费，请问我们应该怎么办?