离婚后的遗留问题--关于孩子的抚养

结婚时女方家提供婚房，因她家条件优越有三套房子，我们也没在买。婚后我的工资全交于女方管理，我的职业年收入算是比较不错的。后因两人性情不合导致协议离婚（结婚4年），为息事宁人，条件上我一在退让，身无分文的离开，财产上没有任何的纠结（四年的工作收入，还有结婚前我工作的存款全留给了她）。如今关于孩子的抚养，另我特别心酸，希望各位律师能帮个忙！
当时我们签的协议孩子跟女方，我每月支付抚养费300元（不含教育和医疗）如产生此两项由双方分摊。由于当时协议写的太笼统，如今出现两个问题：一女方太不自觉总乱要钱如幼儿园费用多报虚报，（这个我打过电话向学校咨询过）看病动不动就是说花了四五千，总之以各种方式向我要钱，首先说明我是个负责的人，也很疼孩子，但她的这个行为严重影响到我，我还有自己的生活，而且当时离婚时我一分钱都没带走，现在仍处在百手起家的状态。二她不能让我看孩子，总以各种的借口搪塞我，动不动就是先拿钱来。更可恶的事我们俩人在电话中吵架，当我骂到她时她就直接拿到孩子的耳朵上听（当然我也不是无理由骂她，她总是不能好好谈事，动不动就动粗口，我不能任她乱咬，这个我都有电话录音为证，每次的交谈我都录了下来）。个人认为两大人吵架不能影响到孩子，身为他的父母，虽然离婚不能和别的小孩一样有个正常的家，但我也希望有个最好的方式带给他，这种方式教育孩子，跟着她我真的不放心，别外说下小孩子四岁让他怎么理解大人之间的这种情况，如果一直让她这么教育着，以后我见了他，小孩子会怎么对我。
我的目的：希望有个好的方式能够解决让双方都得到公平，孩子还小必竟以后的路还很长。而且特别希望孩子能跟我，这样我只会每月要求对方支付300元，其它一概不让她管，可以经常看孩子。各位律师，我的情况就是这样，不知道假如走法律程序，我带孩子的可能性大不大，这个事情好不好解决！请帮帮我吧！