我这样的情况，能否要到违约金？房屋买卖违约金？着急！！！

12月27日通过中介公司我们看中了一套85万的房子，当时我们和中介的业务员谈，想把价格降低到83万，业务员说可以商量的。回到中介公司，业务员就让我们交了意向金两万元。理由是：交了意向金，这个房子我就有优先买卖权，其他的业务员就不能带其他人去看这套房子。我们当时交了意向金，并且签了一份协议书，上面的内容大概意思是：只要卖方签了这个协议，那我们就需要交纳五万元订金。十五天内，双方需要签署买卖合同，这个十五天内，中介公司需要帮我们核实该房的所有真实情况。 

在我们签了协议的当天，卖家也签协议，（卖家的房产证上有两个人的名字，两人的关系是母子关系）当天只有母亲签了协议。 

中介公司在签了协议的第二天，让我们去交剩下的三万元订金，我们没有去交，因为当时我们还有些要求没有向卖家说明（就是我们要他们给我们留下的家具问题）。但是从那以后，卖家以各种理由，推脱她的儿子不在上海。致使我们的协议一直没有履行，协议上有一条是在规定的十五天内，如果买卖双方中的任何一方，没有明确的答复，那就算是违约，违约方需要支付给对方双倍的赔偿违约金（就是意向金的双倍）。时间到了1月11日，我去中介公司怎么处理这个事情，当时他们说给卖家发一份催告函。让他在1月15日前给我们答复，但是时间到了，卖家仍是没有任何反应。 

1月16日，我们去中介公司再次确认情况，中介公司说因为协议上只有一个人的签名，所以这个协议是无效的，就是白纸一张。现在我们只能拿回去自己交的两万元，其他的事情他们也没有办法。并且中介公司的经理说这个和他们中介公司没有任何关系。如果我们要起诉，要赔款，那就去告卖家。和他们中介不产生任何关系。 

这样的情况下，我们该怎么办？是不是像中介说的，我们得不到任何赔偿，并且中介公司不需要承担任何责任？ 

希望有能力的人来回答我的问题。谢谢了！