离婚儿子跟我，我该付他精神损失费吗。

我丈夫是上门女婿，因为感情不和已有几年了最近我提出离婚，他提出结婚时他带到我家的5万元还给他，这钱我给儿子买了两份保险一共2万多已经交了3年了，这个事他以及他父母是知道的并没有提出反对。如果儿子跟我的话我因该付他20万精神损失费，因为儿子他也有份，要么就是儿子跟他。儿子四周岁多他从来没有负起作为一个父亲的责任，马上上中班了没有负担过一次学费。他提出的这两点我该履行吗，我该怎样维护自己的合法权益。