我们能要我爸的自留地吗？

60年代，国家分地的时候，家里分到了6份自留地，父亲的祖父母2份，父亲的姑姑一份，父亲跟他的妹妹每人1份，还有父亲的叔叔1份，共6份。爷爷本身没有分得，那时父亲还小，后来爷爷再婚，父亲被赶出来，没办法只能跟着奶奶居住，但期间经常来往于爷爷奶奶之间，还经常提出要在爷爷的房子后面（分的自留地）那做间房子居住，可是都不给。但是现在爷爷的小老婆就不给我们，说是他连续种了40年，我们不在那里生活居住了，我们就没有份了，但是父亲在老家也就是爷爷那分了地之后，来到奶奶这并没有分得任何地，现在我们想要回老家那起房子（爷爷已过），政府下文给我们做，但他们不给。自留地是定下来以后长期不变的，我们只知道这个，这个跟承包法性质是不一样的？请各位给个答案，我们这样的情况，自留地我们能不能拿回来？