抚养权变更

我在小孩出生40天的时候协议离婚，男方没有执行离婚协议上亲自抚养，而让其父母抚养，现在小孩2个月，长的很差。我们协议上注明违反协议内容赔偿对方5万，因男方出轨离婚，女方将男方赔偿女方的精神损失费10万留给男方作为小孩的抚养费，以后不再出抚养费。这种情况我现在如果想法院提出变更抚养权，变更的机率大不大？我能要求男方赔偿5万的违约金吗？能要求男方归还那10万元抚养费吗？谢谢。