我现年26。1岁时父亲因犯故意伤害罪被判处无期。母亲看到判决书后，感觉生活困难在2岁时父母离婚

我现年26。1岁时父亲因犯故意伤害罪被判处无期。母亲看到判决书后，感觉生活困难在2岁时父母离婚。法院把我判给母亲，爷爷奶奶坚持要我，由于爷爷奶奶年纪大了，后协商决定在爷爷奶奶无抚养能力时有由二叔代为抚养，二叔在爷爷的劝说下签了字【二叔当时15岁】。因此由爷爷奶奶抚养我至15岁。【期间无任何人出过抚养费】，15岁我辍学外出打工，我18岁时父亲因表现好提前出狱。我辞工回家探望。后在家呆了3个月，由于父亲回来不无正业。我看不惯再次南下。第二年爷爷去逝，由父亲和二叔共同安葬。爷爷将身下2套土房分别分给了父亲和二叔。汶川地震房屋倒塌，父亲和二叔分别得了3万元房屋补偿。两年后二叔得病死亡，奶奶就有父亲一人赡养，并协议奶奶死后奶奶名下一块地归父亲。【名义上是父亲赡养奶奶其实他对我们婆孙2人不闻不问，说谁留下我的有事找谁去。留我的除了奶奶其他人都不在了阿，奶奶全靠国家养老费，高领费生活。】父亲不知悔改嘴上胡吹，还在外边瞎混，有时几天不回家，他时不时还进去坐个1年半年牢。期间多亏了两个姑姑。我结婚和婚后有孩子了他没出过一分钱。自他找了个所谓的后妈以后家里就更乱了。如今他为了那个女人尽然两我们一家赶出来了，孩子才10个月阿，房子是他建的我出了1万。请问我可以放弃所有继承权将来不赡养他可以吗？如果不可以，我可以替我奶奶追要我小时候的抚养费吗？如果可以断绝父子关系，请问如何断绝？求高人指点。