老伴过世，自己退休，孙子抚养究竟怎么办？

我的大嫂在他小儿子七岁时，由于爱哭鼻子，便让老伴给挂锁，此后一直到结婚前都是她们在抚养，但是结婚时却说儿子给我们了。老伴心好，怕不要对孩子不好，也就默认了并为其娶妻带子。孙子两岁时，孙子的爸爸去世了，妈妈已改嫁，孩子一直和我们生活。直至去年，老伴去世了，现在自己也已退休，无力抚养，到底该怎么办？孩子的亲生爷爷该不该抚养孩子，自己能不能不管。另外，家中有八十岁的父母，基本都是我和四弟养活照料，我大哥不尽一点责任，我这样给他带孙子心里也是感觉很难受，请律师帮我解答我的问题。谢谢你！