这样离婚可以吗

您好律师,我已结婚四年,当时是抱着无所谓的态度结的婚,我不喜欢他,但家里都同意,我不想父母操心就同意.他家给了3万礼金.打结婚证时发现婚检结果他有乙肝,我当时就不同意,可是民政局违反程序,是让我们先签字什么的,本来我心里就不乐意,也糊里糊涂的,等我知道结果,心里又气又急却已经来不及了,结婚证已经下来了,而我是三天后才知道他早就拿到结婚证了.
    四年来,我的态度一直很明确就是要离婚,结婚当天也没和他在一起过,后来一直也没有在一起过.跟他谈过好多次,他是不愿离的,每次都说考虑考虑再回复我,可总没个回复.我父母也不同意,所以就一直拖着,他却一直住在我家,他家在街上没房子的.他在我家从来什么事都不做,大事小事从来没做过.我爸妈生病没看过,还说他哪知道要不要帮忙!我生病也没问过.我爸做寿他也什么都不做,我家送寿面给他父母,他也不要.早上很早就出门,到晚上再回来,每天都这样,像住旅馆样的.他没主见的,有点小事都是他父母来我家谈的.我烦透了.我从没问过他要一分钱,只是有次我妈问,他有给,前几年过年过节他有给我父母钱,这些钱加起来估计有1万多.我和他基本不说话,当他透明人.几年来我郁郁寡欢身体一直不好,直到我无法再忍受这种状况,逼得我在家辞职离家出门打工,我不知道这样有什么意思,他一直拖着我,害我成这样.现在我父母也同意我离婚.我这次找他想好好谈下怎么解决,他口头答应却一直躲着没来.他拖了我这么多年,又是这样,我现在不想还他钱了.我该怎么办??