我想问下这个婚要怎么离。他不走怎么办

事情是这样的。一年前，我妈经别人介绍认识了一个男的，就和他结婚了，结婚时男方拿了四万块钱。男方是到我家里来的。可婚后才发现他嘴很贱，很伤人，有次还和我妈动手打起来了，出去做事也没挣到多少钱，还长期带人回来，对我孩子也不怎么好。在家里就像个大爷样。家里的点都不得做，回到家就到处去耍，吃饭都有时候都还要到处找人。我有三个孩子，都是我妈一个人在带，我们两个人都长期在外面打工，现在我妈又要多伺候一个人。所以我妈想和他离婚，（两个人没拿结婚证）想把他拿的四万块钱还他，叫他走。可他不愿意走，还说要我们补他损失。有怕钱给他了他也赖着不走。现在我们都不知道怎么办。他们说可以报警，可报警了他不走又能怎样。拿个钱要不要还给他。