农村买房原业主反悔

我们在农村买房已有四五年了，当时合同写好由哪至哪里是我们的，房产证上都写着，现在我们把房子转手卖给别人了，但是还没有般出去。现在房子原卖主说田地是他们的。不让我们种，还说我们卖房没有经过他，不尊重他。他是我们那里的地皮流氓，都怕他。他就是想我们给他分点钱。现在应该怎么办？如果闹起来我们怕买我们房子的人怕我们有什么房子纠纷。反悔买房了。因为现在和买主只交了定金，但是过户都全办下来了。余款还没有给我们。