购二手房遇到难题

我是刚招聘到市里来的老师，四月一号和对方签了一处转让住房的协议。当时对方说正在建设的房子年底可以交工，先交一万元押金，然后分首付、交房和交房后一年付的方式付款。第二天我了解到那房子要一年半才能交工，我们急着住房，所以就电话沟通了一下，电话中对方提出中止，我没有表态。和家人商量后四月三号我电话告诉对方想中止协议。对方也答应了，并提醒我带好协议和押金条及银行卡。当我去他家时他却不愿意中止了。因为我租房也要不少的开支，所以想中止这个协议。我要中止的话，会承担哪些责任？协议上写有我不能及时付款要承担五万元违约责任，现在还没到首付，我只交了押金，如果我单方中止协议，要不要承担这个五万元的责任？