你好：一老人家五年前与一个三十多岁男子签定了抱养协议，（该协议没有经过公证处公证，也没有经过民政部门批准），现在这个老人不满意这男子平时的抚养，现在老人要与他解除抱养关系，因为虽然平时这男子抚养了这个老人，但是一直以来没有起到应尽的义务，很不负责。但是这男子要求老人退还他每月500元的抚养费（实际上他每月没有付出过500元抚养费），否则就继承老人家的财产（该老人在城里有土地和房子），请问怎么解决？
----------------------------------------问题补充：--------------------------------------------------
但是这老人家与男子签定抱养协议时，在协议里没有说男子以后继承他的财产啊，现在要老人家退还这五年来的抚养费，这抚养费怎么算？