我怎么提防这样的小叔子

老公家贫，当年就入赘我家已经8年。家里有个弟弟25,26岁的样子。这个弟弟不争气，工作没有干过1年的，换个N个，也不知道计划着生活。
去年年底说借了山东女友26万元未领结婚证，在江苏某城市买了房，首付30多万（具体不详）。约我老公和他爸妈就说是某日搬家。我老公也请了假，第二天就准备去了。结果晚上打电话来说要借3K买家具说25日发工资就还我，我就随口问了，不是明天要搬家了嘛，家具也不着急这几天买啊。追问之下说第二天不搬家。我们也把3K借给他了。
结果到现在也没有对这笔钱没有任何说法，还是周转不过来还是什么其他情况。
开年我让我婆婆来帮忙照顾孩子1个月，就住在我家。小叔子之前说工作在别的区里面。我们也没有过于多问，听他说是如何的牛逼。前两天，我婆婆领娃放学看见他在我们小区，怎么问的我不清楚，说是在哪个高楼里住着。
没过两天，我知道就在我们小院里，在前面一幢楼里住着呢。我住的低，他住的高。我房子小房间是连着阳台的，我听了这消息总觉得心里不自在，总觉得有人监视一样。我老公说我疑神疑鬼的。
我想 如果是个正常人，租房子搬了家哪能不和自己爸妈，或哥哥说一下的，况且明知道是一个小区的。
我真不了解他的居心何在。因他的种种情况，我真担心哪天他在外面惹事，被高利贷或者其他什么的看上了，哪天对我孩子不利怎么办。
也许是我多想了，但是我不能打包票不会发生。
请咨询一下懂法的人，我的房子是我和我老公买的，他们家没有出过钱。小叔子手脚不干净，拿过我家100块和收藏纪念币，后来我就不准他到我家了。我们两口子都是小小员工，这几年已经贴他爸妈7万元了，我自己还要房贷，两娃。
以后假设他犯事，人家找上门来，我怎样避免 我两个孩子受到伤害？