房产公司以领导旅游不知道何时回来为由迟迟不退还意向金，

半个月前看中一家楼盘的房子，售房小姐说，房子很紧张只有一套有很多客户有意向要买，如果我们真心想要买可以先交二万元的意向金再签一个购房意向书，给我们一个晚上时间考虑，第二天再去确定是否要买，如果不买可以将意向金退回。我们家人商量后还是先放弃，第二天就去办理退意向金，售房小姐拿走了我们的意向书，说公司需要走流程钱要过些天返还到当时扣款的那张银行卡上，我们也就傻乎乎的空手人走了。事隔一周后电话问售房小姐钱何时到账，对方说走流程还要些天，现在半个月过去了，对方说领导旅游去了，要等领导回来才行，哪天回不知道。现在问题是意向书也还给他们了，他们什么条子也没给我们，手上除了当初扣款的回单在，其他啥依据都没了。
    想请教下，我该如何做才能要回我的意向金？
    谢谢！