保险业务员的错该谁来买单

律师，你好！
    我有一个问题想要咨询。
    2012年2月9日，我在湖南南县工商银行想存一笔定期。在大厅被一个业务员拦住，非常热情的告诉我：存钱他帮我们办就好了，而且利息也很高，2万块钱一年1180元。他说，存3年，每年存2万，一年1180元。我们没有经验，以为是银行人员，就相信了他。所有的手续都是他给我们办的，我们只在合同上签了一个名，且留了两个电话号码。
    一个月后，我们越想越不对劲，想把钱取出来。拿出合同一看，是份保险，看不懂里面的条款。打电话到95519一问，要扣本金，还不少。她说，我们有十天后悔权。也就是签合同后十天公司会有确认电话，而我什么都没有收到，想取钱就只有扣本金。考虑到扣的钱比较多，就没有退，只好每年按要求继续存2万，存了三年，一共6万。
   2015年2月9日，由于急需用钱，就想把钱取出来。到银行一看，卡上一分钱都没有，说被保险公司取走了。和保险公司协商，他们说现在取只能取58312元。为了把钱及时取出来，当时口头协商说保险公司退还本金，但现在只能取58132元，其余的要等五月份分红出来以后再补。当时的保险是《国寿鸿盈两全保险(分红型) 》。
    想起都很生气，就打了95519投诉。处理结果是他们拒不承认三年前签合同的事，只承认当时取钱时口头协商的事，而且扬言说要我们法院见，要不是没有办法解决。
    三年来，我的钱存在了银行，却进了保险公司，这也许是我为我的无知买的单。但保险公司除了我咨询的一个电话回复我外，再没有一个电话告知我（合同规定，每年应告知客户分红情况都没有），而且当时留的两个号码在他的信息库里还储存错了。他们只说这是他们业务员的疏忽，但拒不为他们的错误负责。
    现在我想了解，我能不能向银行追要我的利息，如何办，谢谢？