本人现住的房屋原是公租房，1975年和父母兄弟姐妹一家九口因折迁而分配搬来居住的

本人现住的房屋原是公租房，1975年和父母兄弟姐妹一家九口因折迁而分配搬来居住的。到1993年，我七兄弟姐妹均已成家立室，当时父亲退休在家，母亲已过身，除我一家三口和父亲、兄长外，其他均已将户口迁出并搬出;其中一弟户口虽然迁出，但同在本住处附近市场做生意而继续租住;兄长户口虽然在这里，但由于地方太小无法居住而选择投亲靠友。
1993年正值国家住房改革，我符合房改政策购买了房改房。买房后弟问我用了多少钱，我只给了买房那张发票给他看，他说要给我一半钱，我说不用，我买屋那要你给钱，他说要的，硬要我收，当时兄弟无所谓，你要继续住在这里，也是要交租的，加上当时大家子女尚小，对住房要求也不高，收了弟的钱后，直到现在没有收过弟一分钱租金。现在双方子女都二三十岁了，我曾多次提出想收回房屋，但他都置之不理，碍于兄弟情面，拖至现在。去年9月，他一家三口申请並住上了公租房，还瞒着不让我知道。到今年初我发现他们很小回来煮食睡觉，一了解才知道真相。春节过后我问弟他才不得已承认住上了公租房，但当我问及他何时才能彻底搬出时，弟明确答复:他不会搬出，要永远住下去。理由是：(1)公租房不是他申请的，是老婆申请的，不关他的事；(2)公租房大小住不下，太远不方便，大贵租不起；(3)这房改房是祖屋，是父母留下的产业，他有一份；(4)这是公房，不是单位宿舍，我无权买，但他给过买屋发票上的一半钱，他就有一半的产权；(5)要他搬走，就是我为了独吞霸占这间房屋。所以近半年来多次尝试和弟协商溝通均无结果，还几次险些肢体接触，不欢而散。应属于我享受的房改保障房，至今23年了，我给了一半弟分享，我都没有意见了，他不但不感恩，不肯搬出，还想方设法要分一半房产，他说现这房屋市价值100万，那我要给他50万，他才搬走！23年前我买了房改房，我都从未真正享受过由此而带来的应有福利和优惠，更不用说住房保障了，现在还要我再出50万才能取回我应得的住房？我一个打工一族，不像我弟做生意那么有钱，10万对于我来说已是一个天文数字，更何况50万？岂不是要了我的命更容易？请教律师大人，我怎样是好？应如何应对？謝谢！