民间借贷引起的纠纷

我在民间办理民间贷款事宜，放款人提出要我以过户房产给他的形式作为抵押，放款18万，为期两个月，还款20万。通过协商，不能改变，我就妥协此方案，等我还款时，他在把我的房产过户给我。但是，放款中途，款项没按合同约定给我，他用了一个月时间给我14万，剩余4万没给，第二个月还款到期时，非要我按合同约定的20万还款，还故意拖延时间，造成我延期两个月，现在非要我一下拿出26万现金，才给我过户房产，要么直接将我房子进行买卖。我是在2015年3月中旬办理贷款，在2015年4月中旬他拿我房子抵押贷款10万，他自己用了。我和他办理还款事宜时，我在房产局调档过程中得知此事，他还理直气壮的说房子是他的，他想贷款就贷款，但是同时也承认我们之间有借款事宜，并且一会承认房子是我的，一会不承认房子是我的！耍无赖，我该怎么办？