本人已婚，有一儿子，满月后，由丈母娘带回去，老婆也一起跟回娘家

本人已婚，有一儿子，满月后，由丈母娘带回去，老婆也一起跟回娘家，每次要带妻儿回家，丈母娘很不开心，万般阻拦，就算很勉强带去，丈母娘电话一天10几个问要她回去，如今孩子5岁，老婆长期在外面不回，丈母娘要不准带孩子回家，千方百计的要把我儿子跟她们姓，刁难我，挑拨我跟父母兄弟关系，每次去接人回家没一次不骂。我不赌博，吸毒，工作努力，家境还可以。请问律师我怎么维护我的权利，丈母娘不让我把儿子带回去，违法了吗？备注：丈母娘家两女儿，大女儿就是我现在老婆，小女儿还在读初三，结婚是在男方家结的 ，不是上门女婿。