解除劳动合同问题

我在单位1986年参加工作，2002年因单位待遇太低生活困难，自己离职自谋职业（当时单位很多职工都是这样），2013年单位集体买断工龄，我去单位办理，可是单位告诉我已在2004年与我解除劳动合同，理由是旷工。我通过关系看到我的档案，里面确实有单位解除劳动合同的红头文件，还有失业保险申请表。
    请问单位能否在不通知我的情况下单方与我解除劳动合同，是否应该在2004年和我解除劳动合同后为我办理失业保险。我能否主张解除劳动合同无效。