女儿监护权

律师 ，你好，我们属于事实婚姻，没有登记结婚，在上海07年11月生下女儿，娃娃两个月的时候生病花费4万，在08年3月左右，他猜忌怀疑我有外遇，后来他去ltv上班真有外遇《时间长了，我没有证据》，我们就这样天天吵架，他曾经离家出走，然后大概6月左右他叫我滚，娃娃也同意给我，我就带着女儿 回到四川成都，当时我没有任何的财力，到成都投靠姐姐，慢慢的自己上班，攒钱，一个人承受养育娃娃，08年快春节期间，有把娃娃给他父亲，因为当时确实想着自己能力有限，去不到一个月，娃娃几乎每天打电话都是要接她回来，后来给他谈了条件，就是把办酒席时候，给了我爸妈一万的彩礼，还有戒指交换给他，就把娃娃还给我，当时有签过简单的协议，没有公证，从我带着女儿国他从未支付一分钱，我现在靠自己的努力开了个干杂铺子，养着女儿，她在成都上学，到现在2012年8月他要说话威胁我，要把娃娃要回去，说什么我自己放荡，不配做母亲，我真的够苦够委屈了，他害这样说，我该 怎么办，请律师指点，我现在真的很怕失去女儿，他说是他给女儿的生命，可是我这几年这样尽力的带着女儿，我还没有权利抚养吗？