我是一个残疾人，2011年和老公结婚，他大我十八岁，父母死得也早

我是一个残疾人，2011年和老公结婚，他大我十八岁，父母死得也早，就他一个人，一无所有，没钱没房，什么都没有。其实我不爱他，也不想和他结婚，可是就因为我是一个残疾人，家里人都觉得我的条件嫁一个年龄大的，他成熟，会心疼人，也会照顾我一辈子。所以我听从家里的意愿和他结婚，可是和他结婚后我过得不幸福，我们经常两地分居，自从怀孕以后，因为没有照顾，我就回到娘家待产，一呆就是三年，这三年期间我基本没有回去过，我们2011年5月1日结婚，到现在我们真正在一起的时间还不到一年。2014年12月我带着孩子回到他的身边，可是他却听信别人说我有外遇而动手打我，我忍受不了，再一次带着孩子离开直到现在没有回去过，这一次我是真的决定离婚，请问我该怎么做？