相亲收了男方红包，了解后双方觉得不合适，女方主动退钱，男方拒绝接受并要求赔偿5000元。女方该怎么办

相亲，经过媒人介绍，双方中午在饭店吃了一餐饭，饭局上媒人说要给见面礼红包一万元现金，女方家里本来是拒绝的，但媒人坚持要男方给红包，女方收下红包。并且下午女方回请了一餐饭。第二天女方考虑收红包不妥，主动提出把红包退回去。可是男方却不答应，说如果女方先提出不在一起就要赔偿他们5000元。并以言语威胁女方。如果不赔偿会怎样怎样。作为女方该怎么处理此事。