孩子的抚养费和探视权问题

您好赵律师！
    我与前夫于2004年协议离婚，双方协定婚生女（7岁）由男方抚养，女方每月支付200元生活费，并且每月有探视女儿二次并带回与我共同生活二天的权利。几天后我把女儿接回家，次日再送回男方时，对方不同意接收，经村委会调解未果，我又诉至法院，要求判令女儿变更抚养权随我生活，由男方承担女儿的生活费300元/月，教育费及医疗费双方各半承担。后由当地法院主持调解，双方自愿达成协议：婚生女儿继续随男方生活，由男方扶养、教育。男方自愿放弃女方的抚养费。协议至今，男方不允许我探视女儿，为了让女儿不受委屈，我只得偷偷趁中午去学校探望女儿，还让男方发现，打骂女儿，我给女儿买的衣服也不让她穿，甚至有一次到我现在的家（我已再婚）中闹事，我不得已报警对方才肯罢休。现在，男方不务正业，不愿再承担抚养孩子的义务，以孩子的名义向当地法院起诉，要我支付协议至今5年多的抚养费近4万元，请问这合法吗？当初男方自动放弃我的抚养义务，现在有权要求我支付吗？我现在有我的家庭，并且又生育了一名男孩，家庭条件也不好，丈夫前几年生意亏欠了近8万元，目前也实在没有能力承担这笔款项，我该怎么办？