抚养费问题

小孩子今年三岁了，因跟女方姓，男方未付过一分抚养费，小点的时候要过说没钱，后来大点后又问说不跟他姓不关他的事，总之一句话小孩跟他姓才给，但这事婚前有说好，目前小孩子一直跟女方生活，户口在女方，男方和女方也都各在一方城市生活，女方为带孩子没上班，钱全是女方父母给的，现在就想要小孩子的抚养费，从出生起。如果离婚的话根据目前的情况抚养权在哪边？男方从未尽过父亲最基本的责任。