签订购房意向书后支付定金，现在不想要那里的房子，怎么处理？

我2月2日与中介以及房主签订购房意向书，并付了5000元定金，购房意向书上写2月3日下午6点之前要补交剩余5000元定金，不然算违约。
在签订购房意向书之前，我们向中介方声明过，可能在签订正式合同前不能筹集全部款项，到时定金能不能归还，当时中介方说可以，要是筹不到钱定金可以全部返还。
到了3日上午，我们在得知筹不到钱之后就和中介联系，说我们筹不到钱，能不能和房东协商解除合同，退还我们定金。
之后中介打电话给房主，说我们要解约，房主得知后拒绝出面。
中介说这算我们违约。在中介给我们介绍房屋的时候有很多情况和实际不符，在我们签订了购房意向书之后我们才知道中介有很多关于房屋的情况和我们说的与房屋实际情况有很大偏差。在签订购房意向书的时候中介也在一直催促，意向书上面有很多细则与各项费用明细我们都没注意到，他们也没和我们说还有这些细则，只说了要我们在买房过户那天准备哪些证件，之后就让我们签字说已经和我们说明清楚了情况。
在这样的情况下我们该怎么解决，定金能不能退还。