关于房产问题

情况是这样的：
       爷爷至退休单位一直未分配房，经我多年努力在爷爷单位终于搞到一套房改房指标，当时口头约述由我出钱购买，房子给我。房子买下来时是爷爷奶奶共同户名，之后爷爷奶奶与我共同至房产局把产权过户给我，所有费用都由我掏钱。
       半年之后，叔叔（二十多年钱已做跨市上门女婿）及两个姑妈向我要钱，并一直做奶奶工作想向我要房屋补偿款。
        我现在就怕奶奶一旦生口或发生变故，我是不是将失去房子，是不是真的必须分一笔钱给他们，爷爷现在中风瘫放了，我现在没有证据，也没信心，只有当时爷爷奶奶和我在房产局的签字，但我又怕他们以爷爷健康问题作文章，过户时爷爷已轻度中风。
         请问律师，如果他们向我要房屋补偿款，我是否有权拒绝，谢谢！