换房19年，被判协议无效，合理吗？

本人用河东区鲁山道的“小二楼”和河西区小海地的“小二楼”互换19年了，小海地的“小二楼”现在拆迁，对方不换了。河东的房子是1990年的时候我母亲单位分的（个人出资3000元，有出资凭证），但是房本名字不是我母亲的，我母亲单位买的几十套“小二楼”的名字都是同一个人的（单位买房的时候还没有确定分给谁）。分给我母亲的房本名字是林先生（林先生可以作证），单位也出具了证明，当时不能办理过户手续，5年以后就可以办理了。但是我这些年一直没有办理过户手续。91年我和对方换房时已经把这些情况告诉对方了，他也看了我手中的房本（名字是林先生），同意换房，签订了换房协议。可是他现在说没有看我的房本，不知道房本名字是别人的，说我欺骗他，换了19年的房不换了。如果没有看房本，怎么可能和我换房哪？如果不拆迁也没有这些问题。为此我将他告上法庭，要求他履行合同（“小二楼”买、换房大多都是协议办理。）。法官判我输了，说我无权处置我鲁山道的房屋，所以协议无效。请问我应该输吗？？？