父亲的债，我需要偿还吗

父亲(以下称为他）生前欠了很多债，父母在我6岁时离婚，一直跟随母亲住，期间他没有支付任何抚养费。从小到大的所有支出都是由母亲承担，并且他没有遗产留给我（都用于生前还债卖光了）成长期间他会给我一些零用钱，几十到一百不等，但不是经常给。后来他找了个女人，那女人有个儿子，他给那儿子买了辆车，大概是16万左右，每个月给那女人700元生活费。（这些那女人给我说过，但当时没心眼没录下音）现在他出事故死了，很多债主上门来讨债，因为买那辆车的16万是借的。而且不知道债主怎么知道我的（我从来不去他那的，哪些债主也没看见过我），他一共欠下30多万的债（我的母亲以前很能吃苦，所以现在有点成就，我们两个生活的富裕吧）而且扬言不还就要对我和我母亲不客气。我有这个义务给他还债吗？因为他欠的债并不是因为我。