面对这样的公婆，我该怎么办？

我与老公是别人介绍结婚的快三年了，女儿二岁多自己带，婆婆不肯带，我与老公感情一般，就是他脾气不怎么好，动不动就说离婚，还动手打我!我公公是出了名的恶，婆婆是多嘴之人，总喜欢在别人背后说三道四！我与老公吵架他们不是劝和，而是合起伙来骂我，我说什么做什么都是错的，他们全是对的！不知是因为与公婆在一起住了二个半年多的原因，也还是因为老公不会做人(老公把我跟他不该说的，全告诉了公婆），使我们的关系更糟，现在我们一家三口出来住了，旁人问我公婆你媳妇呢，他们说离婚了，连我本人都不知道的事，他们既然这样说，特别是我公公，在家住时赌博输了骂人，六合彩没中也骂人，动不动就说我是扫把星，我想回我妈家住几天，老公也同意，而他却说走了就不要回来！出来后他更是恶言相向，打电话给我亲戚或找我亲人说三道四，我与同学还有他老婆三人一起去玩，他既然跟别人说我们有什么，这简直是无中生有，还说了很多难听的话，他的行为影响了我们的婚姻，我该怎么办？这样的公婆真的无法相处，为了孩子我忍了又忍，可是他们却变本加厉，好像要搞到我们离婚他们才会满意，其实我也很想离婚，可是孩子还那么小，我该怎么做?若是离婚公婆是不是该承担一些责任?