离婚后女儿的抚养权问题？

律师，你好！我跟我先生结婚四年，女儿今年也四岁了，在结婚的四年里我跟我先生都是在吵架中度过，他可以为了一件小事都可以骂我骂上一天，但每次吵架我都不会跟他吵，因为女儿还小，家里又有老人，每次他工作不顺心就回家大吵大闹，摔东西。有时候他心情好了就会跟我说他的事，而我也尽量的开导他，但过不了两天他就会又开始啦，有时候他会大半夜了还不睡，把我搞醒，要和我来房事，因为白天带女儿都很累了，我拒绝了他，他竟然会一个晚上都不睡就这样又开始吵了，好多次都是这样，搞到我都不敢回家，我感觉他脑子有点不正常。后来我要求离婚，吵了好久，最后他才同意离婚，离婚协议书是他打的，离婚协议书上写明女儿归男方抚养，女方以后不见女儿，女儿的生活费用，医疗费，学费都由男方付。为了跟他离婚，我在协议书上签了名，我想在离婚之后再把女儿的抚养权争回来。正式离婚后，他经常把女儿放在我这里照顾，他说他没有办法照顾女儿，我也没说什么，女儿也是我的，女儿跟他也没什么感情，就这样，女儿一直跟着我生活，直到今天也有一年多了，他却来跟我说，要把女儿接回去，女儿说什么都不肯跟他回去，一直在哭，叫他爸爸不要来接她，还叫家人不要开门给他爸爸。看到女儿这样的举动，我想把抚养权拿回来，他又不肯给，律师，请问，我该怎么做呀？我要怎么样才能把女儿的抚养权转回来呀？今年女儿四岁了，能不能自已选择跟妈妈？