我该怎么离婚

常律师您好，我与丈夫04年在佳木斯结婚，并一直在佳工作。我俩都不是佳木斯人，所以结婚手续是在我家伊春这办理的，结婚的四年里，生活一直过的不好，他没有责任感，没有养家的能力，我生活的很累。今年8月份，我俩产生矛盾他提出离婚，我同意并坚持了，但他后悔了。没想到我能认真，气急败坏的情况下，到我单位对我辱骂、动手。给我造成极坏的影响。之后他对我威胁、恐吓，不愿离婚。我便搬出我俩租住的房子，一个月后我辞去工作回到家里伊春。是在没有通知他的情况下回来，如果他知道我要走肯定不会同意，他当晚知道我走后，打电话来表示很伤心，没想到我能这样走。并且请我回去说一定好好对我。
    之后发过短信请我回去，说些想我、后悔之类的话。但也声称要报复，说他恨我。反反复复的脾气很不稳定，他是那种没有素质没有心胸的人，不面对现实，很极端。我们彼此已经不能适应，我也很怕他对我进行报复手段，所以一直不敢提出让他来我家这里办理离婚手续。也一直心神不宁生活的很不舒心，家人也不能安宁。从8月份至今，他家里一直没有态度，也没联系过我。
    他家是桦南的。我们户口也没有迁到一起，也没有房子及财产。我不知道我现在该怎么办，如果他对我进行人身伤害，或者不配合我办理离婚手续，我该怎么办呢？
    谢谢常律师帮助我，尽快给予帮助。