关于中介看房协议书的问题

你好律师，我想咨询一下，我年后在一个中介看了一套房子，他没有钥匙，他带我去看房子的时候找了另一个中介拿的钥匙（可能房东挂了好几个中介吧），看完房子后，他从来也没给我打过电话，后来，我有意向买这套房子，我就去找有钥匙的第二家中介去看房子，第二粗中介给我联系了房主，然后讲价格，最后我在这家中介成交了，但是当时在第一家中介的时候，我在不知情的情况下签了看房协议（我也不知道里面的内容，中介跟我说只是登记一下我来看过房子了，没什么别的影响），所以我也没仔细看就签了，现在第一家中介让我也付给他违约金，因为我签了看房协议书，请问这个成立吗？再说了，我当时第一次去看房子的时候，他跟我去第二家中介拿钥匙，我还以为他两个是一家的呢。