买房定金问题

我今年4月21日在辽源市龙山新城和一个棚户区改造回迁户进行了房屋买卖,讲好房价后,我给卖房人交了定金,户主给我的定金单上标明了买房的价格和定金数5000,当时我们谈好后我回筹钱,但在以后的日子里,我和卖房人就无法达成买卖协议,他找各种借口不和我交易,想反悔,又不说不卖房（他听别人说他的房子卖价低了，又怕承担违约双倍返还的责任，先说把灯卸下，我们同意了，又说把热水器拿去，我们也同意了，说把屋里的订做沙发也拿走，我们也同意了，但后来又说太大拿不走，要我们给他加钱，加1500元，我们不同意,说要拿走必然损坏装修）我想他希望我主动要求退还定金,我去了许多次他找各种借口不和我签订房屋买卖合同,更不谈过户交易的事,他想拖住我,我现在和房主无法进行交易,我该怎么办？
   我要通过法律途径应该到哪个基层法院？具体到哪个部门起诉，程序和费用多少？