父亲帮别人贷款，逾期了，别人也不偿还，怎么办

父亲于2010年帮别人贷款吉林省农村信用社2.6的贷款。11年到期。
但是到期了，别人一直没还这笔钱，查了信用报告，现在利滚利，滚到了5.6万了。 余额21154，逾期金额56591了，
当时信用社说了只还本金和一部分利息，但是真正的借款人不还。导致现在滚到了这么多。
当时也没有留下什么借条。一起带的还有其他几户。但是其他几户都不愿意去打官司。
现在父亲过世了。农村信用社每年都克扣我们的粮食直补款。我们都是按照这个数字去要钱。扣一笔，要一笔。
家里是农村的，只靠土地来维持生活。
请问各位，我们改怎么办。
另外我们现在在别的省份，每年回去都很有限。