房屋产权问题

2005年底兄弟买了一套商品房，以银行贷款按揭形式，后因各种原因，于2006年底以口头协议形式将房屋按原价转让卖给我，但因为当时我经济有困难，与他协商后，他前期因为房屋所支付的所有现金部分（包括房屋首付款/之前他所支付的还贷部分/税金/房屋物业费/办证费用等）我可以分期支付归还给他，房屋银行贷款部分从2006年底开始订立口头协议时由我向银行归还，当时一直没有办理房产过户手续，银行按揭也是以兄弟的名字由我还款。直到2010年我才将他前期因为房屋所支付的所有现金部分归还完，并按还完款的日期签订了一个简单的买卖协议，协议时说明了房屋转让的单价和总价，支付他现金部分的金额，继续以他的名字向银行还贷，房屋产权过户手续时间另定，但漏了注明我们是什么时候开始订立的口头协议，我是从什么时候开始还贷的时间。现在我想要卖掉这个房屋但因为产权证还是兄弟名字，要求兄弟配合我办理这个卖房手续，因为房价升值了，兄弟现在不承认房屋是我的，要求把我这几年支付的房贷还给我，房屋买卖所得归他所有，经协商后或同意把房产过户给我，但不允许我将此房屋出卖，我只有居住权。请问我现在该怎么办，会不会房财两空，买个教训？