从未抚养过我的生父是否可以不赡养

2岁父母离异，我判给父亲，妹判给母亲。我从小在外婆家长大。父亲不务正业，长期经营违法之事，母亲强制将我与妹一起抚养。母亲与继父在一起的那一年(我10岁)，父亲前来闹事，打砸外婆家，当着全校师生，强制将我从课上拖走，且实施暴力，拳脚相加，从此给我的童年造成了极大的阴影。后来的生活便是与继父，母亲，妹妹生活在遥远的异地。等我到高中的时候，家里贫困，找父亲要抚养费时，他已经因为贩毒判了死刑。
所以从小至今，作为一个父亲从未尽过抚养义务，身为儿子也不会履行什么赡养义务，我只会赡养我的继父。法律还要保护父亲的权利？我小时候抚养权怎么不保护呢？说我未去维护，小时候的我懂法吗？等我懂法的时候，判了死刑的人如何抚养我？
父亲起诉我的话，我将面临怎样的处境，如果我也学他当年，置之不理 会是怎样？法律还要保护这样的人，不担心我恨极生悲吗？我幼小的心灵的委屈，阴影我找谁？