离婚协议不用支付抚养费，现在男方在婚后又跟我要抚养费，不然不给看孩子。

我和前夫2012年协议离婚，孩子判给男方，当时我什么也没要，协议中写到所有的东西都给男方和孩子。所以我也不用尺幅抚养费。现在男的结婚看，给我打电话说，以后每个月给300块钱的生活费，不然就不同意我再接孩子。
因为孩子的爸爸不是那种过日子的人而且听他父母和现在的老婆的话，我不想给他们钱，我可以每个月自己给孩子存一部分钱，但不能给他们。
可现在不给钱就不给看孩子？我该怎么办好呢？起诉他们我是不是仍要支付抚养费。我真不情愿。