离婚后女方赖在家里不走，严重影响生活

本人与本月10日协议离婚，协议已经签好，孩子归男方所有，女方不需承担抚养费，但至今女方也不离开，严重影响了家里的正常生活，孩子只跟她玩耍，不让跟别人接触，家里有老人，刚做完肿瘤手术不久，他总是让孩子或其他人稍话一定会把孩子带走。老人心情特别不好，每天提心吊胆，我不敢跟他吵架，怕影响孩子老人，他可能也抓住了我们的这个弱点，每天算计，我给派出所打电话，派出所说他们也没有办法，起诉时间又太长，太还会在家里折腾一段时间，不知道这种情况应该怎么处理。