该怎样离这个婚

我和我老公结婚六年多，生有两个女儿，小孩由他父母带，我们都在外面打工，前两年他在外面有了别的女人，他也承认了，于是我们经常吵架，我求过他，但他不理，想着小孩才几个月，就还没提出离婚，我们已分开两年多了，中间因小孩出来一起生活过一个多月这一年多我有跟他谈离婚的事，他有多次喝了酒打电话骂我，恐吓我，说他死也不会离婚的，要走自己走，小孩不会给我的，（因为我们是跨省结婚的）今年我起诉离婚了，要一个小孩的抚养权，因为我没有证据，他也不承认，没判成，他爸妈也说死都不会给我小孩，这次回去他家里还不让我带小孩上街，他什么都听他家里的，我该怎么办，也不知道他在哪，也联系不到他，找不到证据，上次开庭他公然威胁我说，要是我还在这样子，他不会让我好过的，他脾气很暴躁，什么事都做得出来，我是外地的，我下次再起诉，都不敢去他那边了，这个婚我该怎样离，