购买二手房时签订的下属协议是否有效

今年5月我购买二手房，与户主，中介签订协议后，陆续给了户主54万购房款（总价84万），并催促户主平贷后，双方办理后续手续，包括贷款过户等，但户主迟迟不去平贷，无法完成交易。纠缠至8月底，户主提出我们可以先住进去，但是要求我们以我老公的名义帮助他们购买一套他们看中的大房子（因为对于他们来说那是二套房，付的首付高，但我老公买就是首套房），然后我老公急于搬进去，就私自与对方签了协议，内容是：我帮助他们购买某地的房子，他们就把现房腾出来给我们先居住，否则立刻搬离房子。这是我老公写给他的。他也给我们写了个条：今年8月30日之前和我们办理腾房，过户，若不办理则退回购房款54万。
现在都已经11月了，我们虽然住进了房子，但户主仍然没有去平贷，迟迟不能过户。我们也没有帮助他们买所谓的房子。
我们积极配合户主购买现在这个房子，但他一直这么拖着我们，那么我们不买了，现在想起诉他们退回我们给的54万。这样的话，上面那两个协议具有法律效益吗？