房产买卖纠纷

3月~4月左右在房产中介看中一套房子，当时中介介绍说房东不在本地，在外地，房子之前是出租给一个开餐饮的生意人住的，后来做生意的亏了就没住了，大概已经空闲两三个月。房屋内门窗完好，客厅厨房吊顶完好，无家俱电器。这点我和中介的人一起在场认定的，但无书面文件。
4.29签订了房屋买卖合同。房屋总价32万，首付5万，中介费5800，税费及各种手续费由我承担。过户时交钥匙给我。签合同时我就提出合同签了那房子的钥匙就应该全部交由中介保管（房东说另外还有一把钥匙在另一家中介，后面我们这家中介的人说会去换锁芯，我也答应了）。合同上注明过户之日将房屋以现状交付给乙方。签合同的地点是中介所内。违约金是房款总额的20%。
签合同前已付了1万的诚意金，后面在去银行办理按揭审批时付了另外4万，一共5万首付款全付清了。
5.16去房监所办理过户手续，付清了中介费5800元。也拿到了钥匙。房东也承诺之前的物管费、水电气费等他会去和物管那边结。从过户之日起后面的费由我承担。

当我拿钥匙去打开门时，屋内出现一女的，说是来看房子的，我正问她哪来的钥匙，她说物管的人带她来的，随后就走了，另外屋内原本无人居住的，现在却有一间屋有人在那住，就是之前租住这套房子的人，他说是物管提供的钥匙，随后我通知中介的人也来了现场确认。屋内三个房间的门锁全坏，厨房吊顶也弄坏了。之前中介说会换锁芯，但当时我们查看锁芯并无更换，导致以前的钥匙还能打开进入。中介说他们换了的，我说让他们自己查证此事，另外物管的钥匙中介会联系业主协商处理办法。
而后中介的也说让我先买把锁芯先把锁换了，现在我换了锁芯，只有我才能进入了。
但我们发现住在里面的人是隔壁的邻居，且这人看似不是有正当职业的人，他自己说是租这房子做游戏厅的，但里面我没有发现任何有关游戏机的东西，反而发现一些麻黄树（毒品，这个东西是中介的人发现的，我没能确认）和一些用过的避孕套（少量），顿时我感觉住这的人不正常，有可能是吸毒人员，但无证据。而且物管貌似和他们相识，还提供钥匙给他们进入，我也觉得奇怪，物管的人说钥匙是以前房东留给他们让他们代管房屋出租的。但以前明明说已经没有租了，为啥物管还提供钥匙让这些人入住，莫非是物管私下吃租金？还是和这些人在搞毒品生意？以上这些猜想，让我和老婆感觉到非常不安全，不敢入住，还有4岁儿子。
现在我们也不敢轻易作出举动，如果他们是一伙人干的非法的事，那这些人很可能会干出一些危险的事，我们的安全存在很高的隐患。
想咨询一下，像这个情况我可以提出退房申请么？如果退不了房，以后怎么面对这些安全上的问题。