交通事故被误导认全责后对方起诉我之前签了张赔偿协议书怎么办

本人在萧山市区开车离红绿灯50米看见跳出绿灯就直行了，当时对方骑电动车刚好是跳红灯就穿人行道（因晚上对面灯光刺眼看不清楚，没看见有车过来，我是绿灯才国过去的没有违章，是对方闯了红灯），直接撞上，双脚4个地方骨头碎了，之后听人说保险公司都能赔，所以处理事故责任书被误导认了全责，经过二年治疗已经出院，大部分费用都由我出的，不知道丙类很多药都不能保险公司报销，对方提出起诉之前，又跟我来协商说人已经残废了，保险公司赔下来的钱除外在赔偿1万块，就签了协议书（当时不知道保险公司不能赔丙类阿什么的，以为都有的赔就答应了）。起诉时才知道很多药都要自己承担，法院判下来自己承担了1万块医药费，现在对方还拿着协议书来问我要1万块钱，怎么办？说不给就起诉我，这人心太狠了..看来人太善良真是愚蠢.我该怎么办？