关于养老保险资金使用家庭纠纷问题

我们是征地农转非人员，属于2008年前征的地，后来政策出来说可以补养老保险，2010年的时候，全家人就讨论协商是否给我妈妈买，当时我妈妈也不太愿意把名额拿出来买，意思就是不买。兄妹五人有三人不买，我和另一个人买了，最终还是只有我们两人买了。当时协商的是不管出不出钱买保险的人，每月均给老人一百元生活费，退休资金由出钱买保险人自由支配。我爸爸是已退休公务员，害怕他死在前面，我妈妈如果没有单位的抚恤金或者是取消低保都由我们买了保险的两个人承担。本来有一人出来组织协商，都订好文字依据的，但是没拿出来大家签字，我们想到是兄妹也就算了，过后没提，但是从买保险到现实，一切都是按照协商的在履行。之前我妈妈的退休卡一直就是我们买了保险的人使用资金。现在没有买保险的三人反悔了，我爸爸去世了，那三个没有出钱买保险的人要求把退休卡给我妈妈掌管，他们说把之前买保险的钱补给我们两人，我不愿意，况且现在他们想到国家指定地点买也买不到了。当时具有风险的时候他们不买，现在本钱基本上领回来了，却要反悔。自从办了一卡通后，我妈妈就掌管那个退休卡，她也不拿出来了。请问，我有权要求我妈妈把退休资金属于我的部分拿给我不。关键是协商不下来，卡也不拿出来，能否起诉？其实钱不多，就是咽不下去那口气，想怎样就怎样，欺人太甚了