小孩的抚养权是我的，他可以争取到吗？

你好！我想咨询一下。我们结婚的时候他家条件就很不好，双方商定好，他入赘到我家，但是没有签协议，只有媒人可以作证。结婚后他是一个不求上进的人，工资也不高，让他买房他说小孩不是跟他姓的，没有动力（也没有能力），他家还有一个弟弟，他家现在已经有房了，但是基本上都是他弟弟出的钱，但是他现在还是每个星期回他家，这几年过年过节都没有跟我在一起过。我觉得很悲伤，我认为他结婚的时候同意入赘到我家是欺骗的行为，现在后悔了，又想要回他自己家了，我想结束这样的生活，小孩抚养权可以给我吗？现在小孩是随我姓的。他也曾今说过要离婚，但是小孩他也要。