他签过离婚协议书了，孩子我扶养，他还可以起诉要回孩子的扶养权

可以的。

夫妻离婚后的任何时间内，一方或双方的情况或抚养能力发生较大变化，均可提出变更子女抚养权的要求。变更子女抚养权一般先由双方协商确定，如协议不成，可通过诉讼请求人民法院判决变更。有下列情形之一的，人民法院应予支持：
（1）与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；
（2）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
（3）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
（4）有其他正当理由需要变更的。

除非孩子年满十周岁自愿，否则不可以

可以的。