对未尽到抚养义务的父亲赡养问题

我父母在我9岁时离婚，当时父亲是说为了把我和姐姐的户口办成城市户口和母亲假离婚，我和姐姐都判给了父亲抚养。可后来父亲竟然又娶了一个老婆。母亲为了我和姐姐一直没有再嫁，也没有离开奶奶家，和爷爷奶奶一起生活并照顾两位老人。父母离婚后父亲一共给给我7200块钱。父亲再婚后有一子，上学、结婚全都是他管，并且在县城有一套平房也给了他，据说价值二三十万，父亲再婚女方之前有几个子女，结婚时父亲也出钱了。父亲有退休金每月一千几百块钱，医保可报85%。请问这种情况下我们应该赡养他吗？对父亲的平房我们有继承权利吗，户主是再婚后儿子的名字。