离婚协议履行过程中违约，应付违约金吗？

我与前妻于2013年3月在当地民政局登记离婚。
    离婚时签订了离婚协议，主要内容是支付女方离婚补偿款160万.分四次付清：
    1.离婚当日支付40万元；
    2.2013年8月支付20万元；
    3.2014年1月支付40万元；
    4.2015年2月支付60万元。
    另约定：“如男方不按协议约定履行支付款项义务，应支付违约金10万元给乙方。”
    在协议履行过程中，有不能按时足额支付的情况发生，但最终于2016年2月3日，全部款项160万补偿款全部付清（最后一支付笔50万）。
    本以为终于对前面的婚姻做了个良好交代。给自己留个负责任的良好名声。没想到前妻于今天向法院起诉，要求我支付10万元违约金。心里倍感凄凉、愤怒。
    我该支付这笔违约金吗？给付多少？如何应对？