我父亲现在正在服刑期间，从小拉扯我长大的奶奶前不久去世，给我爸留了十一万元钱

我父亲现在正在服刑期间，从小拉扯我长大的奶奶前不久去世，给我爸留了十一万元钱，她怕用她的名字开户让其他子女发现有不必要的麻烦，因为奶奶的四个孩子，只有我父亲最落魄，奶奶相对相信大姑多一点，便用大姑的名字开户存在银行，但把密码只告诉了我，作为女儿我给我爸已经在当地买了一套房子，在我爸出来的时候就可以住上，我并不是觊觎奶奶留给父亲的的遗产，而是我现在待在上海，看中一套房产，手里也有一笔资金，但首付就缺少10万块，买这套房产并不是自住，只是想做一个投资，毕竟我爸出来靠那十万又能做什么，上海的房产投资无疑是最好的选择，但是当我提出要借用这笔钱的时候，我大姑以及我大姑父说奶奶临走吩咐要亲交我爸不能给我，监狱每月都有犯人与家属通话的时间，借此我与我父亲在电话里说明此事，我爸说既然这笔钱是给他的，女儿要用，同意给我，我爸紧接着也给大姑他们通了电话说明同意，但是当我再跟他们要的时候，他们还是不同意，说我奶奶交代一定要亲交我爸，在我爸同意的情况下还是不给，现在房价上涨可观，他们的阻拦让我很可能错失这次机会，我从小没有母亲，父亲又在服役，我现在已经二十四岁，我还没有结婚，我借了许多钱就是想拿下上海这个房子，借此机会看我们一家能否以后日子好过一点，但是我的姑父姑姑怎样都不给，现在已经不是买房不买房的问题了，而是我奶奶留给我爸的钱，我爸已经同意我先借用一下，他们为什么就是不给？我现在应该怎么办？