卖方老是拖着不给过户土地证

2017年1月购房，2月在住建局过户了房产证，想过户土地证时卖方说土地局什么的可能要合并，以后出不动产证，暂时不给办理土地证了。我们因为是贷款买房，当时就只抵押了房产证，土地证也没过户，那时候说等贷款还清了再麻烦对方一起过户。今年家里遭逢变故，所以不得不卖房筹钱，找到原房主想办理土地证过户，但是对方一直推脱。对方说，当时吃饭的时候他说过，如果房子不想要了退给他，他把钱退给我们；但是我本人不记得有约定过这个事儿，只记得他说过，看在我家有亲戚跟他认识的面子上，他把家具家电也一起给我们。我们跟他解释，房子不到万不得已我们也不会卖的，现在买方已经给我们首付了，就等着我们过户了土地证继续办理手续。老卖方呢，一直说我们办事不地道，之前房子买38万现在卖55万，老强调我们不要了退给他。我们恳求他帮忙过户土地证，实在家里急需用钱，每次打电话他都说人不在家，回不去，办过户的时间再看吧。他就在国土局工作，也去找过他，但是都说不知道他在哪个办公室，没有找到人。我家里真的等着卖房的钱急用呢，我母亲已经换抑郁症了，这怎么办？如果起诉他的话，我们能赢吗？会不会房子被他要走？