我离婚一年多了，协议离婚时双方达成协议两个孩子全全归男方扶养于女方无关

我离婚一年多了，协议离婚时双方达成协议两个孩子全全归男方扶养于女方无关。原本于2015年年头打算复婚，所以重新回到那个家，于2015年中旬前夫的姐姐找我借钱由于打算复合所以没有要求对方打借条共借了12000元钱无借条，这笔钱全是 本人在离婚期间自己打工所得，于男方无关而且离婚期间两个孩子学费都是本人所出。由于男方长期对孩子没有起到扶养义务他每天沉迷于打牌之中无钱供养两个女儿的学费生活费今年年初2月11号因为家庭纷争还是打算不在复婚。于2月11号已经搬出前夫的家，并带了一个孩子。男方母亲不承认她女儿此次借款存在。还说那笔钱是他儿子的。并且要求我带走小女儿。由于男方母亲不喜欢女孩经常对孩子进行辱骂责罚行为。所以本人带走了小女儿。请问现在这个情况我的钱能够要回来吗？由于离婚时双方协议好孩子是归男方扶养如果我带走孩子男方需不需要还我这两年孩子的学费及生活费啊！急切盼望你的答复请问现在我该怎么办。急急急