搭伙男怎样依法夺回自己的房子

男女双方均属丧偶后未经登记同居已十多年，同居前男方自费买房（有买房证据）接女方到此房子居住。在居住期间，女方也适当出了点费用维修了房子（无证据)。同居期间，男方上班等年收入七八千元都交付女方保管并日常开支，双方预计日常明显费用后，每年能剩下三四千元（未有证据）。现男方因女方不给男方零花钱，关爱双方孙子女十分不公平，感情不和，但未有争吵、打架行为。男方搬离此房子不再与女方同居，“散伙了”，女方仍在此权属男方的住房居住，女方所保管男方的积蓄分文不予交还男方。男方要求女方给男方五千元后同意女方在此房屋住下去并且房子所有权归女方一儿及男方一儿各属一半，女方不同意，也不搬离此房子，男方能用什么法律手段将女方让出此房子。