我哥哥开车出了车祸， 发生事故后，我家积极救治，对方还是不幸身亡。对方经过和我家多次协商，最后签订了私人协议，我家赔付了对方20万，答应不再告到法庭。但是我家现在给了他钱，他家有反悔了，天天到我家闹，还把我哥告了，现在我哥在拘留所里面。我想咨询一下，难道之前签订的协议就真的不算数吗，我家现在该怎么办。请律师给以指导，我和我的家人不胜感激。
----------------------------------------问题补充：--------------------------------------------------
当时在事故发生后，他家并不告我哥哥，只是要钱，我们也是本着救人的原则，出了4万左右，但是一直不见好转，仍处于昏迷状态，后来由于亲戚们认为是个无底洞，不再借给，我家拿不出钱，便把我哥哥送进了拘留所，后来，他家就和我家协商，只要我家给他们20万，就不追究我哥哥的法律责任，并签订了协议，现在他家已经委托律师，现在案子已经提交法院，我想他们还是想多要钱，但是我家东凑西借，已经无能为力了，我想咨询如果法院要判决，会根据私人协议，适当考虑民事赔偿的数额吗，如果我家无力赔付，会有怎样的法律后果？请各位律师能百忙中答复我，谢谢。