亲生母亲从未行使扶养义务如今对房子有所企图

我是一名大二学生，十年前父亲就已去世，后妈自父亲死后就卷款离开，我的亲生母亲在我出生后就已经和父亲离婚，都没有对我行使扶养义务。我从小到大一直由奶奶独自扶养。父亲去世后给我留下一套房子，并且已经过户到我的名下。
如今有街坊邻居说，看见亲生母亲多次到挂在我名下住房的地方打听，还有意和我父亲以前的朋友串通讨好，对我的房子有所企图。
我想咨询下律师，在这种情况下我该怎么办，从来没有对我行使过扶养义务，并且在我出生后就和我父亲离婚的亲生母亲这样来找茬是否能够制止？