房产继承

我名叫董大才，原名文德应，生于1971年，1979年母亲改嫁，我随母亲到董家，1990年7月，父亲到他的儿女那里去了（重庆），同年9月，因房屋系危房（属木架结构）被人民政府强制拆除，当时我写信发电报通知了父亲董荣富和哥哥董玉贵，父亲当时回信说：‘叫母亲杨家秀自行处理。’因政府把房屋拆除后，什么也不管了，危房协议书现在还存在。
父亲走后家里很穷，什么也没有，房屋被拆除，我和母亲连住的地方都没有了，更谈不上来修这个房子，当时隔壁两家都在修房子，于是我找他们商量，因我的房子在中间，他们修起来后，我将原先拆房子剩下的木材架在他们中间，所以就存在着关墙，我应该付给他们关墙款并逐年还清，此协议还在。我于1993年与何模荣结为夫妻，因家里穷，所以就到外面打工去了，剩下母亲一人在家，1997年，因房屋简易，大面积漏水，母亲一直叫我回家修房子。当时在外面打了几年工，手上也有了一点点积蓄，所以就回家修房（第二次）。
现在，因房子属老城区，水位低，政府进行全面改造，又被拆除。现在，继父董荣富之子董玉贵、女董玉珍、董玉碧要来继承父亲以前留下的房产。我的想法是：因房屋系危房被政府拆除，我当时是通知了他们的，他们也不闻不问，而现在他们却又要来继承父亲留下的房产，我不知道该怎么办，特意咨询。