急！无赖胞兄冒充胞弟，在外赌博欠债不还！

律师，您好。我的情况比较复杂，是这样的：
我的父亲是双胞胎，他的胞兄在外面赌博（可能是地下赌场），欠了高利贷一大笔赌债。他的妻子被他气的得了胃癌去世了，之后他把自己的房子卖了，儿子也不管了。现在无路可走，跑来我家借钱。我母亲又有重病在身，哪里有钱给他，给了一点钱好不容易打发他走了。前几天有人跟我母亲说看见我父亲在附近的棋牌室打牌，其实那个人不是我父亲，是他的胞兄。后来知道他白天打牌，晚上睡在浴室里。现在最麻烦的是人人都把他当成是我父亲，到时候他又欠一大笔钱，要债的全上我家去了。最担心的就是他把那些借高利贷的也引到我家来，那时候我该怎么办呀？？现在真的很害怕。我母亲每天晚上都睡不好觉，身体也越来越差了。对付这种人我该怎么办呢？？