继承买房犯了错！

94年我和丈夫刚结婚，家里没什么钱，为了省去过户费，父亲去找住在外地的大伯商量，花1万两千元钱按继承买了大伯在本村的房子，他们全家都按了手印和签字，手写了一份协议。
99年我买的房子由于年代久远，需要重建，我拿着协议去办房产证，房管所的人说这张手写的协议不行，需要改换打印的，于是我父亲自己到大伯家又重打印了一份，这次是盖的章，没有签字和按手印，当时大伯已经去世，是他的妻子和大女儿代他打印的，写的是当时的日期。
到2000年办了房产证，01年房子重建，一直到2012年，听说我们这要拆迁，大伯家的4个儿女都来要房子，把我告上法庭，而去年我的父亲才刚刚因病去世，失去了有利的证据。
在法庭上，大伯的4个儿女都说房子是借住给我，我没有实际的权利对房子重建或拆迁，还说我不是他们的直系血亲继承不着，如今双方的老人都已经相继离开人世，我没有证人，当初的那份协议也找不到了，法院判定那份打印的协议并没有实际法律效益，由于房子有多少质量问题不断修建，我和丈夫辛苦挣来的钱全都投在了房子上，还有个在外上学的孩子，要是他们真把房子要回去，我们连住的地方都没有了，请问我该怎么办?