我该咋办

我是一名事业单位在职员工，四十多了，已经成家。在七八年前，偶然机会认识了一个二十多一点的女孩，并且和他发展成了情人关系，他知道我有家庭，我也没承诺过和他结婚，大约一年的时间，我觉得很对不起她，就提出了分手，可是她不同意，但慢慢地淡了很多，他去外地了三四年，这期间我们不怎么联系，更没见过面，我以为我们结束了，可是前三年她突然回来并找到我说要和我在一起，我对她的感情很淡了，所以不同意，她就大闹，我家里也知道了，后来时间不长她结婚了，可是他还要求我不定期的和她约会，如果达不到他的要求她就大闹，她说他心里不平衡，要我补偿，说早晚会杀了我，让我家破人亡，让我丢了工作，我很勉强的一次次和他约会，可是每次我都很难受，我实在是不想这样了，我只想好好生活，正常一点，我该怎么办？我会因为这些被开除吗？如果我不理她了她自杀了我有多大责任？他到我们单位闹来我咋办？