前夫追尾前车车祸去世，留下八岁女儿和十万赔偿金，婆婆也给我十万让我存着

前夫追尾前车车祸去世，留下八岁女儿和十万赔偿金，婆婆也给我十万让我存着，这十万有四五万是他们的，另外是别人跟前夫借的，出事后还到婆婆他们手里的，之后我就边上班边带女儿，学习生活租房所有费用都是我出的，几年后我遇到现任想结婚，想迁户口到现任家，婆婆哭闹不让结婚不让我迁，后来要我给她们十五万，就让我结婚，说这钱放在我这不放心，怕我都用在现在这个家，不顾女儿了，那时也是觉得他们的担心情有可原，十五万就给他们了，户口没迁，女儿也跟在我身边生活学习四年了，费用全部是我跟现任在承担。前夫是老大，老二入赘别家当女婿了，家里也拆迁了，条件还行，之前村里给他们办了个边缘户，一年有千把块慰问金，后来查到他们账户有二十几万，边缘户就被取消了，现在他们又想办低保，又闹着要我把户口迁出来，说实话现任家十年前就拆迁了，我现在迁出来也享受不到什么了，想着老了回去能建个房子住就好，毕竟给儿子女儿学成成家立业就够呛，我们两口子还不知道怎么着落！说了这么多，不懂法的我就想问下，如果我不迁出来是不是侵犯到了他们的利益，我是不是一定要迁？