我爸爸妈妈是智力残疾人，在世的时候人爷爷奶奶都是我和爸妈赡养

继承权是基于身份关系而存在的，只要不存在法定的丧失继承权的情形，只要是父母的子女都可以继承父母的遗产。当然遗产的继承要遵循有遗嘱按遗嘱，没遗嘱按法定继承顺序继承。
是否尽到赡养义务与有没有继承权无关，但是根据权利与义务相一致的原则，尽到赡养义务的继承人可以较没有尽到赡养义务的同一顺序继承人分得更多遗产。
根据《中华人民共和国继承法》
　第七条　继承人有下列行为之一的，丧失继承权：
　　（一）故意杀害被继承人的；
　　（二）为争夺遗产而杀害其他继承人的；
　　（三）遗弃被继承的，或者虐待被继承人情节严重的；
　　（四）伪造、篡改或者销毁遗嘱，情节严重的。
第九条　继承权男女平等。
　　第十条　遗产按照下列顺序继承：
　　第一顺序：配偶、子女、父母。
　　第二顺序：兄弟姐妹、祖父母、外祖父母。
　　继承开始后，由第一顺序继承人继承，第二顺序继承人不继承。没有第一顺序继承人继承的，由第二顺序继承人继承。
　　本法所说的子女，包括婚生子女、非婚生子女、养子女和有扶养关系的继子女。