住房纠纷

我单位出售集资房，一亲戚想购买，前期付了首付，后因个人原因不能缴纳尾款，单位要收回住房，我就垫资先替他把尾款付了，后又与他协商把首付款也退还给他，当时也协商说是一至两年内，他把当时买房的全款给我，我把住房归还给他，后房子搁置了四年，我打电话发短信对方都不接，现也自己居住，对方又来和我闹，经常骚扰我，说房子是他的，现在我想咨询一下，如果打官司的话怎么处理，我手头有全部的单位购房收据，还有缴纳物业费的收据，还有当时银行给他退他首付款的银行汇款凭证。