劳动合同解除时间

王律师您好！
    2019年5月2日单位因为我向“市长信箱”提起：解决我和单位之间长达10年的未签订劳动合同和补缴社保的诉求，单位得知消息后在2019年5月13日通知我离开岗位回家等待通知，直到2019年9月单位告诉我去劳动仲裁委履行一次劳动关系确认程序，先是劳动仲裁后到基层法院民事诉讼，2020年4月27日，安徽芜湖鸠江区人民法院判决我与单位2009年12月至2019年5月13日存在劳动关系。在判决前和判决生效后，我多次要求回单位工作和要求单位继续履行无固定期限劳动合同，单位一直不履行，也不跟我书面解除劳动合同和补缴社保。2020年7月20日，我发函给单位要求书面回复是否和我履行劳动合同，单位在2020年7月23日回复：不能履行劳动合同，并把2020年5月14日作为和我解除劳动关系的时间。对此我不能认同。想向您咨询：单位一直不和我履行劳动合同，直到2020年7月23日才书面答复我不能履行劳动合同，我和单位解除劳动合同的具体时间应该为哪一天？感谢！