关于孩子抚养权的问题

孩子在两岁的时候我跟他爸爸离婚了，然后自己抚养了两年，期间孩子爸爸没出一分抚养费，对孩子不闻不问，三个月前因为自己一个人抚养孩子，压力确实大，就把孩子给了他爸爸，可是给的时候说好的我想孩子就可以随时看孩子，可以打电话给孩子，但是三个月期间，我去看过孩子两次。每次他都是不愿意，都不让我带孩子出去溜达，甚至三个月期间我每次打电话跟孩子说话他都不让，因为当时给他孩子原因也是他能给孩子的生后比我给的好，才放心给他的，可是现在他给孩子的生活特别差，还不如在我这孩子生活的好，孩子也特别依赖我，其实当时把孩子给他爸爸的时候，有两个原因，主要原因是因为压力大，他能给孩子的生活比我给的好，其次就是我处了一个对象，因为对象跟我商量好的，把孩子先给他爸爸，等我们两个结婚再把孩子接回来，可是当我看见孩子跟他在一起过的还不如在我身边，所以想把孩子要回来，如果我背着他没经过他同意把孩子带走算不算犯法？我们没有结婚证，因为我年龄小，只是在男方家办了一下简单的酒席