合同违约金一定要赔付吗？

我与一私营公司签订了5年的劳务合同，其中有一项是我单方违约，付其3万违约金。该公司是驻外企业，我的工作主要在国外，在公司干了一年，我家里父亲病重，请假回国。回国期间，将公司代缴的保险（公司缴纳的保险费全额是从我工资里扣的）转为个人缴纳，不在公司上班，公司会停交保险。因为公司缴纳的是五金，保险基数最低，同样的金额我个人交，基数最高。公司单方认为我违约，私自解除合同。在国内呆了一个多月，公司从律师事务所发来律师函，限我5日内回公司上班，我暂时还无法上班，公司老总电话告诉要起诉我，要我赔付违约金，在接到律师函后我申请辞职。因为我正好也不想去国外了，我的签证在当地无法办理落地签，没有人身安全可言，再者我在公司干的也很委屈。请教朋友，众说纷纭，不知如何是好？？请指教！！