这样的房产，后代还能要回吗

我曾祖生三子，在世时祖籍老房产已给三儿分定。
老大与老二解放前去苏州谋生，略有小成。在当时的苏州城郊共置一处房产（一间楼房加一间平房，面积100多平米，外加不小场地）。
解放初，因经营困难，老大去了上海另谋，苏州业务及房产交与老二管理、使用。
………
老二在一九五四年因病去上海医治，费尽，老大助之。老二嘱其妻回苏州取钱，妻去后，杳无音讯。几日后，老二在上海病故，享年40（注：老二生二子，当时其小儿子才2岁）。老二病故后运回老家安葬，其间一切均有老大和老小操办，其妻不问不闻。
老二眼看自己已不行，临终前求老大答应二事：一、儿子尚年幼，托老大照看些，二、老家房产（面积50多平米左右）与苏州房产，老大、老二对换（据老二言，此为老二妻提出。可能对老大来讲亏点，故一直未与老大提出）。老大应允（口头，无文字记录。注：当时以老大的兄弟情深，老二的状态，也不太可能有文字记录，）。
老大没有食言，不顾自家经济条件，全力以赴，将每月工资寄往。自家顿时陷入困境（我曾祖母一贯由老大家眷照料，生活的担子落在老大惟一的儿子身上，时年仅20，尚未成家）。 
老大寄钱给老二家眷一事，一直到老二妻子改嫁他人，老大得知消息，才止。这离老二妻改嫁之日，又不知过去了几年。
一九六四年，我曾祖过世，电告老二妻儿（其时，其小儿13岁），未奔伤。
一九八O年正月，老大病故，电告之（其时，其小儿已29岁），未奔伤。
一九五四年～一九八O年间，老大对老二在老家祖屋（注：据考，祖屋建于清道光年间）大修四次，小修若干次。再后一次，因无法再作修了，一九八O年，老大儿子尊老大口遗，在经济不宽裕的情况下，重新翻造。
再表苏州处房产。一九五四年～二O一五年，老二妻改嫁，几经变故，房子也已作翻造，但户主已落在了老二妻改嫁的后夫身上了（后夫是落户进来的），现已分给四子女并已拆迁。
老大儿子尊老大嘱，61年间未提及苏州房子。二O一五年，老二小儿子悉老家房子拆迁，前来向老大儿子讨要房子。
61年了，老二大儿子重未来过老家，二儿子5、6岁时由老大领引，来老家探其父之坟，来老家过一次。
…………
这房老二儿子能要回吗？
    （附：老大惜侄，曾嘱儿：房子侄来住，允。来卖，不允。）
     [本人小议：认为，老二小儿子要老房，当在老大在世时（其时已成年），与其母前去与老大商量解决，当时房屋还没有翻造，老大只有修房之损失，老大惜侄，定当应允。再：老大儿子要是没能力翻造其房，任老房坍塌（61年间，老二后代未来收管过，原因只有老二后代清楚），在其后的农村建房运动中，地基已为他人所批造，你老二的后代跟谁去要房。]