房屋买卖纠纷

我的房屋目前处于租赁状态，约定于今年8月15日租赁期满。由于各种原因于今年6月21日在中介所的主持下与买方签订了购房合同，约定于7月15日之前办理过户手续。又因对方要搞公积金贷款，我们在中介处的主持下就协同他到公证处办理了公证，按中介所的意思我们只是去协助买方贷款，对我们没有任何影响。其中就有一个委托书，被委托的人是买方朋友，我们根本不认识，委托书内容就是委托他代表我们全权处理与买方购房相关事宜。包括签订购房合同，收房款，收租金。在签这个委托书的时候我就提出质疑。但中介所说只是形式。公正办好过后，买方要求他在付钱时我们交房。现在麻烦出来了，我们多次与租客协商希望解除租赁合同，租客不愿搬，说我们违约。只得与买方再次签订协议，于8月15日交房，并付给对方6000元的违约金，约定我们在交委托书的同时，只给40万，剩余3万元待租赁合同结束后再付。现在我们担心交了委托书过后，剩余的钱我们肯定拿不到了。因为委托的内容就涉及到收房款。我们现在该怎么办。