二手房交房纠纷，谁来承担租金损失？

我通过中介购买二手房，约定上下家各付1%中介费，尾款2万元下家先交给中介保管，在交房同时由中介代下家支付给上家。

到约定交房日期之前，中介说他们和上家说好的不收上家中介费，下家要付2%的中介费。所以2万元尾款要作为中介费扣除，下家要另外带2万元尾款给上家才能交房。下家拒绝再另外支付尾款，交房的事情就拖延了。

我们先起诉了上家，要求交房，法官认为上家在不能收到尾款的情况下，不交房是合理的。并建议我们先把尾款交了，然后再向中介追究。于是我们先另外交了尾款，完成了交房手续，然后起诉中介，要求中介赔偿尾款以及延迟交房这段时间的房屋租金损失。 这次的法官认为尾款应该还给我们，但是房屋租金损失是由于房东不交房造成的，应该由房东承担。

请问谁应该承担延迟交房的租金损失？ 立案的时候法院要求要么中介当被告，要么上家当被告，如果中介和上家都作为被告，他们就不接受，我们应该怎么办？