个人债务的问题

我弟弟因为在外面做生意，在外借了约4.4万元，包括利息在内，这是债主给的数据，具体的数据我们也不是很清楚，今天债主来家里要钱，拿着一份律师委托书和一张借条的复印件，还带着律师，可是我弟弟现在不在家里，也联系不到他本人，借款人和担保人都不联系不到，而且我们不确定这个借条是不是我弟弟写的，所以我们拒绝了还款，通过朋友的侧面打听我们怀疑债主是个放高利贷的，但是我们又没有直接的证据，请问借款人和担保人都不在的情况下该怎么办？如果债主起诉的话对我们家会造成什么影响？我们家该不该还这笔钱？如果还款的话是不是要借款人和担保人都在的情况下才可以？这些是我的疑惑，还请给予解答，非常感谢。 我弟弟未婚。