离婚时，协议是给男方抚养，但是离婚的三年里，小孩一直跟女方，现在小孩要读小学了

可以起诉请求变更抚养权。

抚养权归属有争议的，法院将按有利于孩子成长原则确定孩子抚养权归属。但孩子未满两周岁时一般优先归母亲抚养，满十周岁法院还会征求孩子的意见。一方抚养子女的，另一方有权探视并支付全部或部分抚养费。抚养费标准，有固定收入的，一般按其固定收入的20－30%支付；无固定收入的，由法院根据孩子实际支出、当地的生活水平及双方经济状况综合认定。

你好，可以申请变更小孩的抚养权。