男方屡次悔婚，现在要起诉到法院要求退还礼钱，按法律规定，女方可以不退吗？

我是去年冬天经介绍与一男子订婚，因为定婚期的问题没商量好，男方便大发脾气说了很多难听的话并提出分手。后来觉得自己不对有来商量我们要求和好。考虑到我们已经住在一起了，而且是吃住基本都在我父母家，分开对自己声誉不好，所以就想给他个机会便和好了。可没过多久又因为清明我不去他家，男方便再次提出分手，并说了很多我的不是。我心里挺凉的，便想把彩礼退给他就算了解了，没想到他们又找到我家要求重新和好，我和我的父母断然拒绝了，男方便开始天天给我发信息恶语相向。他们的言行已经给我和我的父母造成了很深的伤害，尤其是对我的名声，街坊们见面就打听都没法说。所以决定三金退还，礼金不退。现在男方要起诉到法院要求我们退钱，请问，我该怎么做来维护自己的合法权益？