口头协议问题

家里买了一个果场，一共580棵果树，一棵果树150元，已经支付了大部分的资金。但是后来听人说卖方的果场没有那么多棵果树，爸爸重复清点几次，果然只有531棵，少了49棵，而当初在清点果场果树的时候，爸爸和卖方是一起清点的，但因为爸爸对果场地形不熟悉，在清点过程中虽然发觉有重复清点的嫌疑，但卖方一再坚持自己熟悉环境，不会错的，加上卖方是同一条村的人，因此爸爸也就相信了他，和他达成了一个口头协议：内容就是果树一共580棵，一棵150元，什么时候付钱等等。
    但是现在很明显，根本没有580棵果树，爸爸找卖方交涉，要求重新清点果树，但对方一口咬定当初爸爸是承认了580棵果树这一事实，因此不肯重新清点。后来爸爸找到村委会和司法办的人调解，但司法办和村委会都认为爸爸当初清点果树的时候已经承认了580棵果树这一事实，因而认为主要责任在爸爸这里，但是我觉得对方应付主要责任，因为他有欺骗的嫌疑，请问究竟是否如此？