男方生理有问题，婚前隐瞒，现同意协议离婚，请问礼金需要退还吗？

律师您好，我和男方是通过介绍人在今年的1月1日相识。男方家人在1月底就催促双方家长见面定下日期结婚，在3月30日，我和男方领证结婚，领证的前两天才与男方住在一起，期间夫妻生活只有一次。在4月14日办完婚礼后的第三天男方跟我说自己在生理方面性无能。我要求男方去检查，男方不同意。昨日经过双方家长协调本应是去医院治疗，如治疗不好，直接离婚，但下午的时候男方发来信息说不去检查。现在同意协议离婚，要求礼金退还。
男方在1月底双方家长和亲戚见面时给了礼金3万6作为三金，结婚照，还有订婚戒指与婚礼置办衣服等物品使用。在2月24日定婚期日时补给礼金6万6.总共10万零2千元。
现在我与男方有夫妻之实，也领了结婚证。想问律师男方隐瞒自己生理情况的条件下我们协议离婚，需要退还礼金吗？是如何退还？