买房没过户，卖房人索要，怎么办？

我和弟弟是拜泉县的一个乡镇居民。在2000年，弟弟一家去大连打工。2001年，他在拜泉乡镇的房子要卖，被我以30000元买下。我把钱汇过去了，我要过户，他在大连用传真发过来一份契约，为了过户少花钱，契约是这样写的：契约，贵单位领导及有关部门，我自愿将房屋留给我的哥哥王军，也了去我欠哥哥2000元债务，现已房照转让给我的哥哥王军，请有关部门给办理一切过户手续，卖房人（王民）亲笔留礿，立字为据，永不反悔。卖房人：王民。买房人：王军。当时我想，有了契约过不过户都行，我就一直没有办理过户手续，当时的房子很破，在这九年间修了很多次，花去几万元，今年又大修一次，花了三万多元。修完后今年房价很好我想把房子卖掉，我的弟弟突然回来管我要房子，他说他的房子没买他写的契约不生效，请问律师这房子他能要回吗，我该怎么办？