父亲生前代别人签字领过一笔现在应该如何处理

父亲生前担任过一个厂老干处处长一职，2006年厂里有一处房子要收回，从财务拨了一笔钱到老干处要求发给搬迁的老干部，其中有一位因为不搬房子所以没来领取搬迁费，当时是父亲签字代领，后因为有其它几户也不搬，所以这事告一段落。
2008年因满53岁父亲不再任职，当时交接工作时没处理这件事。
2008年11月父亲去世。
2009年5月厂里又要强行收回房子，当时父亲代领的5万元搬迁费不在帐上，老干处的工作人员要求我退还这笔钱。父亲已去世，我无法证明这笔钱是不是父亲拿的，事后我查了父亲唯一的一张卡，工资卡明细上没有过一笔钱，生前也没听父亲提过这事，所以有所怀疑，这笔钱的去处。
我想请问这种情况是谁签字领取谁就必需负责退还这笔钱吗？
父亲去世了，是不是从遗产里退还？
遇到这种情况，我应该如何处理？