没有卖方委托书且卖方不知情的情况下，房产买卖居间协议书有效吗？卖方代理人要承担赔偿责任吗？

我在国外期间，我姨丈（林某）在没有我的委托书的情况下，与买方和中介签订了房屋买卖居间协议，买方在中介那儿放定金40万，这些我并不知情。
回国后，我觉得价格没法接受；并且该协议的一些条款明显我无法做到，比如我姨丈在签约前已事先告知买方和中介清楚知道：”该房产里有上个卖家的户口没有迁出都已经18年了”，可协议书还订立“卖方承诺于x年x月x日前将落户在本房屋的原有户口全部迁出。如卖方未及时迁出户口，每逾期一日，按房款总额的万分之伍赔偿给买方”，我作为业主根本联系不上上个卖家迁户。
再如，协议书要求我先过户给买家再协助买家申请贷款，我很难接受先过户的做法，我担心万一过户了银行不放款，而协议中也没写若银行不放款该怎么办？
鉴于协商3周未果，我也没有收到定金或首期款，定金中介要给我我没敢收，也尚未到去土房居签房地产买卖合同的截止日期，这时提出异议对买方损失的影响也较小，所以，我向中介发了短信和微信表明我不同意房产买卖并不承认该居间协议书（协议书上居然没有买方和中介的联络地址，只有买方的手机号）。
但我担心的是，该居间协议中有个手写的条款：“立约人林某保证取得产权人的全权委托出售该房产并代为签署协议，若因产权人原因导致该房产买卖目的无法实现的，立约人林某愿意按本协议的相关约定承担赔偿责任。”我担心若打起官司，我姨丈（林某）要承担赔偿责任，协议书的赔偿责任高达房款总额的20%，他老人家怎么受得起。为这个协议书我愁得不得了，简直就是抢劫！
在此，我希望求助于大律师们帮忙判断一下，这个协议书有效吗？我需要通过什么方式表明我不承认该协议书？如果打起官司，我姨丈需要真的为此承担赔偿责任吗？我能起诉中介欺诈吗？能起诉中介承担全部赔偿责任吗？