因公出国、培训补充劳动合同和经济责任协议书

这份协议是在我去日本一周回来之后让我签订的。的确和公司抗争过，但是最后还是签了。

合约内容主要为，我因公被派遣至日本进修，若两年内辞职，需要赔偿因公出国的所有费用以及两万元违约费。

很气愤，因为是时候才让我签订的。也并没有提前告知到我。签订合约的时间为回国后。

另外，去日本目的其实是开会，一天开会，另外两天在现场参观。
其余都不在公司。是路程时间。

想知道，这样的情况，我一旦在两年内辞职，可以拒绝赔偿两万元违约费么？