公司不给开离职证明，怎么办？原单位是否有权这么做？

17年中入职的，18年4月离职，那时也不是很清楚这个离职证明的，公司也没说。现在找到工作了，说需要一份离职证明才能入职，联系原来公司老板，说之前其他离职人员也没开过离职证明。公司与我是签有劳动合同的，离职也是提前一个月申请，但的公司小，管理也不是很正规，没给买社保之类的。