我不接受老公前妻的意见，让我老公违背协议，领回男孩抚养，我觉得那样不公平？我该怎么做？

律师好！我夫两孩子，离婚时，女孩归我夫，男孩归他前妻，我夫每月给400元，四间房子归男孩，他前妻只能住，不能卖，2万元归他前妻。我们结婚后，按着协议每月给钱，他前妻把我夫村里给的地钱都领了，也把那四间房出租了，租房钱他前妻都得了，现在，我夫的前妻不遵守离婚协议，让我夫领回男孩抚养，我不同意，因为我们的经济也不是很富裕，我自身身体很差，我们在09年初买了房，我们的首付有一部分是借的，其余的都是贷款，自从我们结婚后，我儿子都在我妈妈家，孩子所有的费用都是我妈妈给出，光他的女儿每年的费用就得上万，他儿子的钱我们每月照给，从不拖欠，现在让领回来，我觉得对我很不公平，我想请问律师，我是否有理由告她前妻？如果有，什么理由？还有，从民政部门离婚的协议，是不是可以从民政部门更改？