集资建房的产权归属

律师您好：
   1999年原单位集资建房，我们几家每人出资3万元（当时建这样的房屋基本就需要3万左右），盖成了一栋联体平房（毛坯房），单位帮助给解决的《规格许可证》、《土地使用证》和暖气设备等零头设施。为了达到入住的程度，房屋分到手后，我们又拿出几万元钱对毛坯房进行了后期修缮、装修。
在分房的同时，单位要求我们签署了一个协议，基本内容就是一旦你调查该单位，就必须退房。不签协议就不给分房。
单位为了控制我们，时至今日10年过去了，仍然没有给我们办理产权证。而且我们联体房的《规划许可证》、《土地使用证》控制在原单位个别领导手中，即不给我们，也不给办理产权证。
两年前，我调离了原单位。昨天原单位给我下了个《退房通知》，要求我限期退房，只答应退还我当时的出资。
我感觉不合理，并且不想退房，原因一、按照谁出资产权归谁的法律原则，产权应该是我的，原单位无权要求我退房。原因二、当时我们签署的单方协议，是受胁迫的情况下不得不签，不签就得不到房子，而且以房子为条件要挟一个人的职业选择是显失公正和不合法的，原因三、原单位要求我退房，我认可的情况下可以，但只退还我当年的出资我不认可的，房屋有升值的，况且我退了房又去哪里住呢，这点钱现在可买不到房子呀。原因四、本来是我们的权利受侵犯，我们的房屋产权由于个人原因，至今没有办理，我们还打算维权，要求他给予办理呢，现在他确发难，有些过分。
他要求我退房的托词是1、以前有协议；2、单位棚户区改造；3、将我的住房重新分给单位新来的人。
请问律师 我该怎么办？？？？？
谢谢您了！！我的电话15847733883 、QQ785869316邮箱zxg555888@sina.com