离婚时，小孩归男方，女方必须带小孩吗

我是四川省威远县城里人2009年结婚，2010年元月生一子，2015年3月离异，小孩归男方，但是在小孩快1岁时因耳朵进了水，当时我不也懂，婆婆她说是油耳不用管，结果因没及时处理2天后发现耳朵流浓，下巴都开始烂了，就马上送县医院才知耳膜已受损，好不容易治好，没想到听力也受了损，当时检查到，直到12年初发现小孩2岁了还不会说话，说话小声了，更被没放应才马上去华西检查。医生说听力受损，但不严重再加上小孩还小只要陪助听器，好生语训下是没什么问题的，于是2012-2014年2年多时间里每2月去成都检查《每次最少2/3千》和配助听器及相关检查费4/5万元一共7万多全由我妈一个人负责，婆婆他们原本说好费用二家平分的，结果到现在也没看见什么。现在还反过来见人就说说小孩听力正常是我们自己没事找事，害邻居都说我们，还不准小孩带助听器，见到就把助听器取下到处放，因此我妈极为老火，在多次劝说无效下。后来见小孩因听力弱又没得到过相关的教育所以4岁了还说话极为吃力。所以在2014年3月在华西医生指导下找到相关的培训机构，学习了4个多月每月学费2000，还不算其他费用，全由我方出的，即使这样他们婆婆再三吵闹下，没学了。14年10月好不容易申请了国家补助到内江残联的语言康复中心去学习了一学期，也是由我妈全全负责的。后来2015年初我们夫妻闹离婚，小孩归父，我就拿了自己的衣服就净身走人。
还有一件事就是我老公极爱打牌，曽多次半夜2/3点才回，曽因此事吵架几次反锁门结果他叫开锁的还换锁，后来因开锁起疑最后把大门锁故意弄坏，结果是2014年曽有几个月大门锁不了，轻轻一翘就开，几次后没办法只有放弃。结婚6年只有第一年过了好年，起余每年过年期间都要因打牌闹事。6年里曽多次向四周的朋友借钱，借钱易还钱难啊，因此曽几次被人追堵。我妈曽多次帮他还钱，大额的都有4万余元，还不算那些2/300的小额。因此给我妈打了一张10万的欠条《加上小孩那费用7万的一半》，因此他极反感我妈的很，认为是我妈因要他签，直到现在那欠条还在我妈那，他们谈都不谈那事，他父母说是他写的，他自己欠的自己还，他拿不出啊就赖皮，因都是亲戚，小孩还在他那，不好闹大，结果一直拖到现在。
离婚后第3天，我把小孩送到他奶奶那，当时她站在小区门口，马路边一手把我递给她的小孩衣服一手丢了，还开口大骂谁要你的烂东西，既然小孩你不要以后就不许过来看了。就当你不存在什么的。
结果我自己发现他父亲白日上班，放假不是打牌就是耍朋友，极少带，基本上由小孩爷爷再带，平日上幼儿园去了，周末基本上就把小孩丢过来我带。长期是周五下午来周末晚上才送去。15年几个月时间里基本上每个月空手来打包走《新衣服，鞋啊，什么的》但是每次买了东西不讨好，嫌着嫌那的，有几次故意说小孩衣服短了或鞋薄了什么，看看他门怎么说，结果是有2套能换就行，买啥买。 我买了又说东说西的，多次下来寒心了从不说买东西的事了。在加上其他事所以今年从不说从不问，问天冷需不需要买厚衣服，天热买凉鞋吗？自己买了就是，也不说，据我观察他们都是事到关头才去买2套能换就行.
离婚这1年多一放假就叫我自己去过去接，去晚了都马着脸。还想讨就讨想说就说。更重要的是因不带配助听器所以小孩到现在都说话难，也没办法更上学习进程，多次劝说下，还请了当地残联的人和他们说，但和他们没法说的清，真的是说一套作一套，
而且随时看到小孩脚上大小伤疤不断，问他们说孩子皮自己摔了的，但旧伤为好要不了2天新伤又来了，现2脚没一团好肉
这样我该怎么办。另外我必须负责无条件的带孩子吗？这1年多一放假就丢来，我还从没好生过个假，哪怕是过年