房屋没买成，定金应该退还吗？

中介带我看房，我没看中，无意中看中了另一家的房，该房主没有委托带我看房的中介卖房，也就是不是他提供的房源，我还是委托我的中介帮忙办过户，我交了4000元定金，三方签了合同。可合同刚签下，卖方违约不卖了，我要求中介方返还我的定金，中介方不肯，说是将此款转为中介服务费了。我不明白，房源不是中介提供的，我们只是委托中介方办过户手续，什么手续都还没有开始办啊，我是守约方，凭什么让我承担损失？卖方和中介方没有互留电话，且卖方的合同上连个公章都没有，合同上也没有落款日期，所以卖方不理睬中介方了，说他的合同是无效合同，他不怕违约。可我怎么办呢？我要求收回定金有没有道理？我要不要交这笔委托过户的费用呢？