退婚以后礼金的问题

我跟男方是去年四月份订婚的，订婚没多久我就去他家跟他同居了，直到现在我们也都是有名无实的夫妻，在我们这边过了礼金就算结婚，男方性无能，手淫过度引起的阳痿，订婚后他也一直手淫，就算我们订婚以后他还是一直那样，期间我有跟他说个这个问题，他都是避而不答，一直骗我说是压力大，只是小问题，而且从来没有拿去看医生，直到我提出退婚以后，他才拿去看，而且我们订婚以后他也没怎么管过我，我已经给了他这么久的时间了，换成别人早就掰了，没有女的会等他这么久的，我对他已经死心了，现在他说我要是不跟他过的话，他就要去告我，运用法律手段，他说要告我骗他钱，我们是农村的，按我们这边的习俗，不能生孩子是很严重的事，可以提出退的，而且也绝对不能把钱还他，给他我就是冤大头了，他耽误了我这么长的时间，我以后嫁人都不好嫁了，因为谁都知道我嫁过人了，我想知道，如果真上法庭了，我需要退礼金给他吗？要退多少，他需要陪我青春损失费吗？