房产问题

实情是这样的，公共为了帮大儿子，买商品房的时候就用我老公的名字用公积金贷款20万，都给大儿子住买卖用了，这样房证上的名字就是我老公的名字。贷款由大儿子每月在还。但现在我们和公公之间有了很大的矛盾。他说房证上是你们的名字，但房子是我的（公公）。不让我们住，如果我们非要住的话，就给他20万现钱。他就搬出去。我们没钱，说贷款给他买房子，可他不同意，因为贷款的话，房证上的名字有时我老公的了。而且公公还说他写遗嘱，他死后房子给大儿子，我们没有份。我们该怎么办？我们真的得不到房子吗？买房子的时候我们与公公，还有大哥之间没有任何协议。但房子买完以后，我老公和我签了一份夫妻财产分配协议，上面把这房子签给我，作为我个人财产。请问如果闹到法庭上去的话，我们不给他一分钱，也不让他在那住，能行不？请您帮忙。