地方租给别人，别人建了个瓦房，现在想收回土地，但对方要求赔偿他损失。

2002年我妈因好心答应村里的人在我妈的一块地上建了20平米的瓦房，让他修摩托车，但没收租金。他做了两年后就去参军了。只到2012年，他妈妈又出面跟我妈说，那地方让她做卖鸡的店行不行？如果她不做了，那个瓦房也给我妈了。我妈当时没多想，就答应了。开始也没要租金。后来，我哥听到了，说没要租金，时间长了不就成她的了吗？就让她走走程序，代表性收了她50元/月.现在想收回来建房子。对方说，房子收回去，可以，但必须得赔偿她建瓦房的费用。请问现在应该怎么办才合法？（因为我哥长期都在外面工作，很少在老家。当时我妈答应借地给外人用时，也没问过我哥）
备注：一直都没有合同之类的文书，只是口头说答应借给对方用。只到这几年才收了租金的。