买的二手房，房产证到手了，住不上房子房子怎么办

买房前，卖方的前夫在里面住起，给了30万后，尾款还有30万，卖方快快催我过户要求做抵押贷款，过户拿了房产证后发现她前夫现在不肯让房子出来，我现在不敢去做抵押贷款，前夫说，他和前妻的事情没有了完，不让房子出来，现在卖方说房子产权是我的了，叫我自己去赶出他前夫，卖方什么都不管了，就是要尾款，还起诉我不给钱，她前夫说就算给了尾款，他怎么也不让出房子来，我现在就是怕做了抵押贷款给了钱还得自己去和她前夫扯皮要房子，卖方直接把夫妻矛盾转移我这里。
   我现在是名义上拥有了房屋产权，其实我没有受益到，在他前夫霸占我房屋的同时，她还向法院保全房子给我带来极大的伤害，这算不算剥夺我的一切利益。
  1、我可不可以解除合同将房屋退还，房产过回去？
  2、我怕付了钱、赖皮的前夫就是不搬，我就算申请法院执行，他还是不走，就说自己无家可归，这房子是前妻和女儿的名字买了他不知道，还说离婚后他一直是住在里面的，我该怎么办？