我的就业协议书有没有生效，需不需要交违约金

今年三月份海宁市妇保院来我们学校招聘，我去参加了面试，当时也带了协议书，然后他说如果愿意签就把协议书交给他，我就问他是不是现在正式签，他说要等到体检过后再正式签，当时也没有谈违约金的问题，我就把协议书给他了，也没签字，后来我去体检了，也问了要不要签，他说等体检结果出来就把协议寄到学校给我签，可是现在我通过了六安市人民医院的考试，想跟六安市人民医院签，但是协议却迟迟拿不回来，我就跟海宁那边院长协商，问他是不是算我违约，他说那边人事局说算我违约，还让我交5000元违约金，那边院长说他正在跟人事局协商，看能不能不交违约金，按解除协议处理，不拿回协议，我无法跟六安市人民医院签，学校也说让我拿回协议，所以我又怕他一直拖着找各种理由，另一方面我一下子又筹不到这么多钱。所以请各位帮忙，我实在不知道怎么办了。