买房协议书上没有房产主的签名是否有效

我们最近看了一套二手房，下了一万订金，和中介以及卖房代理人签了一个协议书。协议上同时也列出了真正房产主的名字和身份证作为甲方。但是签名的是卖方代理人。后来发现这个代理人也是一个中介，她说房子是她妹妹的，而从资料上看，房主应该是60多岁。如今我们已经付了一笔土地转让金，但是不敢继续交易下去，请问，我们是否应该以对方没有授权委托书以及没有房主的个人签名终止交易而不算违约，要求对方返还定金？期待答复，多谢。