如何追回20年前的房屋遗产赠予

20年前，爷爷去世，遗产有姑姐暂管，有40w现金和一个87方的房子，一直没有分配，房子我们家住。15年前的房子被拆迁，爸爸5兄弟姐妹为了更顺利搬迁，其中4个（包括我爸在内）把各自的占有的份额赠予给在美国的弟弟；期间有政府暂安置我家暂住一处，直到2011年，政府通知可签入经适房，因地域差价，我们可以拿两间70方的房子，但每间须补25方面积，6000元/平方，共15w。经我爸5兄弟姐妹口头商量遗产的分配，明确了由我家独立补15w后拿其中一个房子，其他人分现金和另一个房子。当时我们不能一下子拿出15w补差价，因此先向另外4人借10w补了，当时承诺待我们还清了补差价的钱才把房子从我爸弟弟名下过户于我爸。4年后的今天，我们还清了，但其他人反口提出必须公平分配，说我们一直住着房子，不应该能平均分到份额，请问我爸能追回当年赠予的份额吗？