收养协议能否作为依据

父亲是丧偶后与母亲在湖南再婚，再婚时有两个未成年的子女，再婚后因工作关系将户口从湖南迁到武汉，子女没有迁过来，未成年的子女一直由父亲的母亲抚养，将户口迁到武汉后就收养了母亲妹妹的一对双胞胎女儿，也就是我和姐姐，我们的收养协议上有写到“膝下无子女”。因为父亲的两个子女从来就不承认母亲，所以没有跟着父亲，而是跟着奶奶生活。父亲去世时是1988年，我当年发了电报去父亲子女的单位，但是没音信。2000年时单位房改房，我们出钱将房子买了下来，当时因为母亲年事已高，怕母亲心中有顾虑，房产证就还是写了母亲的名字。2006年母亲去世了，那两个继子女也没联系上，现在房产证是母亲的名字，我要到公证处办理继承，公证员要看母亲有关子女的档案，我提出来了，我母亲的档案上就只有我和姐姐的名字，公证员又要我提我本人的档案，我的档案上有继子女的名字。公证员就说一定要继子女到场才可以公证。谢谢请问您，我们与继子女失去联系有50年左右，现在联系不上怎么办？而且他们对我的父母也没有尽到赡养的义务。就这个收养协议能否判定，继子女与我母亲没有形成抚养关系。