我离婚七个月，孩子（男孩）十二岁，十多年前夫没有责任感对孩子及家不管

我离婚七个月，孩子（男孩）十二岁，十多年前夫没有责任感对孩子及家不管，一年在外回不几次家，钱更是没有，我自己带孩子打工养家养孩子，为了孩子一忍再忍。十多年的承受与痛苦泪往肚子里咽，今年三月我因病做了开腹手术，术后我虚弱的身体，他那魔鬼式的折磨让我更惧怕他的兽行，四月十五日在民政局办理了协议离婚，真是怕啥来啥，为了让他担起对孩子的责任，在他不要孩子抚养权的情况下，我做了好多工作及泪水他同意了，但是，我说了，抚养权是你的但是孩子还跟我生活，要求他做到应尽的责任就可以，协议也是这样写的，他每月付给孩子抚养费，孩子我代养。可是至今他也不闻不问孩子也不探望，抚养费更是不给，我要过几回他都是大发雷霆就说没工作没有能力。房子给我，可是在房管所过户那天一切都办理完事了，钱也都交了，工作人员也给单子让过几天来取新房照了，可是第二天房管所给我打电话说，还差我前夫的一个签字，就这样房子迟迟没有过户到我的名字。这长时间了我几次让他去签字可是他已各种理由不去，而今他又说不签了，就那样吧。那天是房管所的工作人员的失误才造成我今天这样。请问我该怎么办？