未经户主同意私自迁入户口，是否可以起诉为违法行为而致其户口移出？

我是离婚后家庭的儿子，跟母亲。母亲再婚，其对象A户口入我户头下，我是户主。现在A以外孙要上学为名，要将其女儿B迁入我户口（B为当年买房蓝印转的上海户口，所以其子，即A的外孙没有上海户口）

现在户口本在他们手里，不在我手里，但是取走过我身份证。我想问一下，如果他们背着我把其B的户口迁进去了，我可以不可以通过法律途径，请B移出去。或者说，我本人不在场，就迁了入户，我是不是可以追究公安机关的责任，叫他们取消这个户口迁移？

另外，如果迁户口不能避免，我有没有办法通过法律途径约定一个文本，叫他们在规定的时间迁出呢。