没有委托书的房屋买卖协议，买方能否终止协议？

国庆期间，我在中介看了一套二手房，由于当时中介和代理人都催得很急，我们也不了解相关的程序，只查看了房产证，代理人未出具委托书，身份证明，住址以及业主的身份证明，也没有留下业主的任何联系方式，我们很快就与卖方代理人签订了房屋买卖协议（不是三方协议）并交了一万元定金给代理人。事后我们觉得不妥，而且看房时中介口头承诺是全城最好的小学和中学的学区房（房主未承诺），这是我们买此房的重要因素，但是据我们了解，小孩不能上那所小学。于是，我们想退回定金并终止协议，虽屡次提出，但代理人不同意并要求我们交付违约金两万元。
问题：
1、此协议是否有效？如果业主追加委托书是否有效？
2、协议注明违约赔偿，但未明文何时终止合同，如果我们支付违约金，对方是否可以再次交易？
3、通过哪些途径和程序，我们才能退回定金？
4、在协议签订的过程中，代理人有哪些越权行为？我们能否追究其责任？
5、中介在此过程中有哪些过错？应承担哪些责任？

由于房屋产权不满5年，签订协议前中介说过户费要一万多，签订协议时说要两万，签订后叫我们准备两万五还多点。
因为我们收入有限，迫于无奈才去看二手房，本来买二手房首付都成问题，过户费看起来又是个无底洞，如果再出脱两万，买房又成泡影。谢谢律师朋友给我们出出主意，万分感激！！！！！