我父亲与我叔公五年前签订一份五保户遗赠抚养协议，签订之初主要是我一个二叔公欠我爸钱

我父亲与我叔公五年前签订一份五保户遗赠抚养协议，签订之初主要是我一个二叔公欠我爸钱，他说把房子抵欠款，但我有个五保户叔公没房子，所以二叔公把房子改为五保户叔公名字，口头约定等五保户叔公死后房子归我们家（抵欠款），但二叔公早死，这个五保户叔公随后提出签订一份五保户遗贈扶养协议，五保户叔公口头约定，不要我爸扶养，只要死后负责丧葬，房子就归我爸，但实际签订这个协议确实负责五保户生活，护理，丧葬一切事宜，我爸糊涂，就签了，随后五年我爸都没扶养，今年五保户生病，叫我爸去，我爸和我一起帮他住院，请人护理，结果7天后，自己跑出院，然后到村里说我爸和我没管他，没用钱，其实实际支出加上我请假务工超过1000元，然后我爸很生气，正好身体不好，就去体检，结果，过几天这个五保户跑去三甲医院看病，结果医院说要数万元医疗费，然后五保户拿着当初的协议认为我们应该出这笔钱，并且不出就告我们，我爸气的，说不管他了，现在我想问如果他去法院告我们，有的人说你必须出这个钱，还有的人说告了没用，即使成功也只是解除当初协议。（当初口头约定知道的人不多，只剩五保户本人和我爸），因此想问如果对方告我们，最差是什么情况。