要回多交的一份清洁费

李律师，您好！四年前我们小区来了一个清洁工，他不好好打扫卫生，几月扫一次（因为他说钱给的少，每户15元/月，共90户），但他收钱却很积极，天天守着值班室，谁若不给他就告谁。小区东西砸了、偷了，他说自己是清洁工；大家反映小区卫生很差，他说自己是警卫，总之是一个不负责任的人。大家很无奈（因为一时找不到合适的人）。我家有2套房子，一直给他交清洁费到4月底。后来我们不想给没住人的房子再交钱了。他居然当众骂我勺子、二婚的、同床异梦了等等，给我身心带来极大伤害。我让他退还多交的那份清洁费，还要向我赔礼道歉，要么赔偿精神损失费。他不听怎么办？平时他爱无事生非、胡说八道，还挑衅我，他又没人管，社区人管不了这样的人。