到底是房随地走还是地随房走?

6年前我家向同集体的邻居借了一间宅基地指标，我家在村里投标并建房入住至今。因为他家经济条件不好,老房子拆了9年多也没能力建房，一直租村里别人的房子住，因为有亲戚关系，我妈当时就跟他口头协定，等以后他有能力建房了我家再还他一间宅基地指标，我家的老房子借给他家住（从我家新房建好至今也有6年），没有任何书面协议。前段时间由于市里在我村搞“三统一”试点，我家老房子拆迁有赔偿，就为了这一万多点的拆迁费，就对我妈大打出手，经鉴定为轻伤，经村干部调解不成已进入法律程序。现在对外说我家的新房子是他的（因为借他的宅基地指标，集体土地使用证上登的是他的名字，但相关证件都在我家保存）。
请问：在法律上的规定，到底是房随地走还是地随房走？