合同纠纷

我在一家出国劳务公司办的去日本打工，在日本的时候，我犯了一次错误就是没经领导同意谈恋爱外出留宿，这是禁止的，当时在日本有驻在的中国的劳务公司的派一个翻译老师在那里驻在。我们有什么事犯什么错或者中国劳务公司有什么要传达给我们的事都是他代公司处理或转达的，当初他是代公司来处理我的这件事的，他收我两次钱，第一次他说我违反规定，谈恋爱并外出留宿要罚款2万日元，（1条1万日元）只是警告如果我再犯同样的错误就没收，如果我以后表现良好不违反规定，圆满回国后劳务公司就把2万日元退还给我，我当时交了2万日元，可事隔不久，劳务公司的经理又来日本走访对我的事说不行，还要再罚第一次罚得太少，不相信我，所以又要罚我5万日元，宿舍的三个人每人交1万日元押金（原因是知情不报告）还是由在那里当时代理劳务公司处理的驻在员同一个人处理，他说为我着想之前拿过2万，这次再拿3万就可以了加在一块5万日元，当时如果不交这个钱就要给我中途遣送回国还要扣留我出国前放在公司的押金，具体多少，那都是劳务公司说了算的，当时那个人给我承诺过说我如果表现良好，再不犯相同的错误，正常圆潢回国以后就会把这8万日元退给我，还给我写了一个条子，（罚款领收书，里面也说了若归国前在日表现 良好，不违反规定，圆满归国后由本司归还其交纳全部罚款金）只要我不犯错误就什么都不用担心，肯定回退给我，可是我等了差不多一年后我正常圆满回国并且在那之后就没外出留宿也没有违反其它规定，可是我回国以后去拿押金的时候，那劳务公司的律师说经理说了我犯了错误不可能不罚我，要全部退给我是不可能的，我找经理，经理就让我找他律师说，他律师也要听经理的吩咐啊，律师就和我说经理给他开了一个罚款的条子我那是第一次看见的，那纸条可能是最近才弄的，之前从来没和我说过要真正罚我的钱，只是说我交的钱我回国以后会退给我的并给我写了一份罚款领收书在上面写着回国以后全部罚款退还给我，现在驻在在日本当时给我留条子的驻在员回国了，可他又说要听经理的，我觉得好无助，我是不是可以告他，我要告的是那个驻在员，还是劳务公司的经理，我这是属于合同纠纷吗