离婚协议履行过程中违约，应付违约金吗？

我与前妻于2013年3月在当地民政局登记离婚。
离婚时签订了离婚协议，主要内容是支付女方离婚补偿款160万.分四次付清：
1.离婚当日支付40万元；
2.2013年8月支付20万元；
3.2014年1月支付40万元；
4.2015年2月支付60万元。
另约定：“如男方不按协议约定履行支付款项义务，应支付违约金10万元给乙方。”
在协议履行过程中，有不能按时足额支付的情况发生，但最终于2016年2月3日，全部款项160万补偿款全部付清（最后一支付笔50万）。
本以为终于对前面的婚姻做了个良好交代。给自己留个负责任的良好名声。没想到前妻于今天向法院起诉，要求我支付10万元违约金。心里倍感凄凉、愤怒。
我该支付这笔违约金吗？给付多少？如何应对？