老一辈过世之后，有一套旧房产，后来拆迁分了地，有四兄弟，没有遗嘱

老一辈过世之后，有一套旧房产，后来拆迁分了地，有四兄弟，没有遗嘱，过世后，由于最小的老四经济条件有限，就由老大凑钱建好了房子，后来协商同意02年给他3万5，同意给老四住，然后住进来之后，还要老四再给1万，后来1万也给了，房产证却一直不给老四，也不分，一直拿房产证抵押贷款，2012年，老四有了一套廉租房，然后老大要求老四把廉租房给他住，才同意1万才不要了，17年胁迫老四要求廉租房给老大永久居住权，才同意去房产局签字盖章分出一套房产，无奈之下老四同意签字，现在老四房产证已经拿到，房产局查出廉租房为非本人居住，要求收回，老大现在要告老四，要求老四再拿10万元才不闹，请问这样的情况，老四是有道理的吗？老四深知廉租房不可转让给他人居住，可是在当时被老大的胁迫之下才同意，现在老四同意房产局将廉租房收回，但老大要起诉。他这样合理吗？