我想咨询一下 律师你好，十月份我买了一套二手房，房子属于单位房

我想咨询一下 律师你好，十月份我买了一套二手房，房子属于单位房，刚看的时候我们觉得不错，期间由于出现了一些事情，我们决定不要啦，但是卖方一直给我们打电话，后来在他们再三的说，我们买了这套房，然后签了合同，签合同的时候我们有见证人，中间人......房子43万6，我们给了他33万6，还有10万我们打了欠条，俩个月之内还清。可是，还不到二月中间人就出来要钱啦，说是我们欠的是他的钱，欠条上边写的是中间人的名字，现在跟卖方人没关系，把钱给他就行。这事还没解决，还有很多事就接二连三的出现了了。首先是有人来要帐，说卖方人欠他们钱；接着贷款人出现说是他拿这房子做抵押；然后他的父母出现给我们要钱；再接着车库锁被撬开，车库被占；再然后有人到物业闹事；更甚的是又有人在我们防盗门里灌胶水，警告我们他们准备换锁，我们报案当地警察不重视，还有此人手里也有和我们一样的合同说是此房子之前做过抵押。现在此人天天闹着来换锁，让我们根本没法住，我们应该怎么办？卖房人自从卖了房子之后，就再没出现过。打电话一直关机中。每次都是卖方人他表弟出面，我们只好给他表弟打电话，说我们现在不要这房子了，让他把我们买房子的钱退给我们，我们立刻搬出去。他表弟同意拉，但是更可恨的是他表弟现在让我们给他一把钥匙，让他随时带人来参观。我们肯定不愿意，你说我们应该怎么办？