不合理的口头担保约定能变更或撤销吗

本人是公司职员，3月底在学校踢球锻炼时被该校学生从后绊倒导致一侧肘关节错位和桡骨小头骨折，对方也陪同去医院并支付急诊费。医生建议手术治疗，我家里人找医生看片子也是建议手术，随后再找的上海专家也是建议手术，但对方只肯支付数万元治疗相关费用的一半。谈了几天最终达成一次性补偿协议，但对方坚持要求必须拍片证明确实手术了才能支付该补偿，补偿款暂存中间人处并做口头担保，如果没手术则返还给对方，因自己对医疗知识的匮乏和误解，以为如果不需要做手术的话就意味着没什么大碍养一养就好了，并且急于开始做手术，所以也没反对这个口头约定。
    但去外地家里人找的医生现场看过后建议先保守治疗看看恢复效果再决定要不要手术，一月后回到上海再找权威专家面诊时，专家说最好不要动手术，建议到康复科理疗一两月，但以后肯定还会有不小的后遗症存在。
    现在对方以口头约定为由不肯支付任何补偿，并要求中间人退还补偿款，请问下我能否以签订协议时对医疗知识的重大误解和由此达成的不公平的口头约定为由要求变更或撤销该口头约定，或其他途径维权呢？