房子能不能要回来了?

您好，我想咨询个法律问题，
我大姐95年结婚，一直住一套公房，因为两口子都没有工作，公房一直没买，在公房拆迁时，我母亲出钱买了公房，并且加钱买了还原房。公房拆迁交钱时，大姐两口子和我母亲有个协议：公房拆迁还原房过户我母亲名下，我父母名下的旧房给我大姐一家居住（上面没写住多久）。我父母都在上面签了字,还原房到手后，我父母没去住过，一直让大姐一家人在新房里居住。09年大姐离婚，孩子判给男方抚养，法院依据协议判：拆迁还原房所有权归我母亲，但男方有权居住我父母名下的旧房。我大姐就搬出去，一直在外面租房住。离婚没多久，男方就和一女子居住在我父母名下的旧房至今。我想请教的就是：我父母如何要回自己旧房子？男方依据协议和法院判决，他住我父母的房子是不是无期限的,谢谢律师能给点建议。谢谢！