和女友恋爱2年，当初感情甚好，准备买房结婚，房款首付10万多点，当时男方出资7万多，女方出资一万八，男方在签署购房合同上写上了女方的名字，买房后两人一起生活半年多时间，在此期间还款多少均为男方在还贷，现在女方提出分手，要求男方退给女方4万，但男方要求女方签署房屋产权归属男方，女方又不答应，去公证处公证，公证处答复需银行出具同意说明方能公证，但银行方要求还清贷款才能出具说明，现女方又反悔，即不签署协议，又不还贷，那男方要求女方把男方当初买房的本金退给男方，女方也不答应，但房贷男方一直在还，这样说来，既然是共同贷款抵押人，房贷就应该有双方共同还贷，现女方不还贷，又不签署协议，请问这种情况，男方要怎样来维护自己的合法权益，请问能走法律程序吗？请律师支招帮忙，谢谢