夫妻离异且有抚养权一方意外身故后，子女的抚养权归属问题

尊敬的各位专家、律师，晚上好。
    事情发生在浙江绍兴，简单经过描述如下：
    我表妹于8年前与第一任丈夫结婚，并于次年生育一子。但由于长期两地分居，夫妻感情日淡，最终于4年前协议离婚。在离婚协议上明确，儿子抚养权归母亲；父亲不享有探视权，且不用支付孩子的抚养费用。因此孩子的父亲在接下来的这4年中既没有探视过孩子，也没给我表妹任何费用。在3年前，我表妹携孩子与第二任丈夫结婚，但又因感情不和于去年年中再次协议离婚。孩子的抚养权仍就归我表妹所有，在第二段婚姻中并未养育其他子女。
但不幸的是，今年3月份，我表妹路遇歹徒，不幸遇难。因此，孩子的外公就担负起了抚养责任。但孩子的生父（我表妹的第一任丈夫）这时出现了，声明想要拿回孩子的抚养权。我们认为其无论在离婚前或离婚后都没有尽到养育的责任，且离婚协议中已明确孩子的抚养权归母亲所有，因此孩子的外公拒绝交出孩子。
    请问：
    1、孩子生父的主张有法律依据吗？能否得到法律的支持？
    2、如果我们想要保住孩子的抚养权，可以采取哪些办法和途径？

    现在双方矛盾已经相当激化，尤其孩子的外公，已经年近八十，先是痛失爱女，又要失去爱孙，已经痛不欲生。跪求各位专家能尽快给出明确答复，叩谢！