农村房屋买卖协议，土地征收，现要拆迁20年前卖房人会来要房

我本不是此地人，在20年前由父亲工作在现在地方买了一处房屋，当时只有买卖协议，没有任何房屋产证之类的东西。现在村里面临拆迁，原买房人又回来要此处宅地，当时只有一张协议书。
协议书大致是这样“甲方现有住处住宅，长**宽**，东西南北位置到哪，此宅占地面积为**平方。由于甲方目前不在使用此处住宅，经介绍人**介绍，本人同意转让乙方使用，转让收据如下：1甲方住宅大院一处，平方6间，自愿转让乙方使用，从签订协议之日起所有权归乙方。2乙方愿意接受甲方住宅，并自愿付转让费****元，大写：******元，款付清后甲乙双方永不后悔。3自立协议之日起协议生效。”最后又双方的签字按了手印。
想咨询我们家这处房屋对方起诉他能不能要回？
另外还一点就是我家房屋的土地所有权在50年前属于我们村里另外一个生产队的，现在知道拆迁原来的生产队也要回来要这块土地的差钱费用，请问他们有没有权利争夺？赔偿款是不是只属于我家自己的？