离婚后对于违章房产纠纷问题

离婚时分得婚后建造的平房一层一间半，属于违章，离婚协议上有写明是属于我的。离婚后几年，前夫在我外出打工期间在分给我的平房上面加盖了一层，时间距离他加盖已经有一年了。当我得知后跟前夫交涉，前夫开始时跟我说让我给他们2万房子给我，后来说不要钱了，那房子他们拿去租，用租金抵造房子的钱。后来说多了就说房子是他爸爸造的属于他爸爸的，他无权做主，这样的情况我该怎么做才可以维护到我的权益。我是在农村的。离婚孩子归我，我跟孩子也就那一间半的平房了。