他人强住我的住房不搬出

我叫邱xx，是二七区樱桃沟黄龙岗一组村民，今年85岁。
 我家老宅原有北屋、东屋两所土坯草房。公婆住（分别于1989年、1991年去世）北屋，我(丈夫1974年去世，6个子女都独立生活）住东屋（1967年我把东屋土坯房扒掉建成砖墙小瓦房）。房产证是我公公的名字（1993年登记换发新宅基证，虽然公公1989年已经去世，我想只有我是农民没有人会和我挣宅基地，也没有换成我的名字），一直由我使用保管。丈夫弟兄3人，丈夫的两个兄弟及全家解放初期就去外地城市工作。公婆去世后，其房子也由我使用。
大约1998年秋，二弟王x相退休后从铜川回来，没有和我商量（我当时在郑州给我二儿子看孩子）只给我大儿子说“两所房子都漏雨，你和应春（二弟的长子，在北京工作）拿点钱，我照看着把你妈的房子扒了在盖盖，你妈回来了好住，我也先住着。”我大儿子没有征求我的意见就同意了。旧房子扒了以后我才知道，我不愿意。大儿子说“我出钱给你盖房，二叔只是照看住，盖成了他暂时住住，他有房子就搬走了”。新房子坐落在我的老房子地基上（公婆的房子地基还在）2000年完工约花费12万多（大约300平米）。王x春让他同学送了些砖和楼板约和3万元，其余是我子女出资。新房子盖成x相和爱人都住了进去，后来他女婿女儿（铜川下岗工人）一家4口也从铜川回来住了进去。由于他一家人对我没有礼貌同住不断生气，我断断续续住了两三年，就搬走住在我二儿子的仓库至今。2015年，x相从村里要了宅基地盖了800平米一座小楼对外出租，还住在我的房子里不走。我多次找他要他搬走，他说，“宅基证是老辈的，房子有我的一份，我不会搬”。村干部多次动员他搬走，也被拒绝。
我已经是晚年，想单独住我的房子养老，不想死在子女家里。我该怎么办？