我的庄稼地在不知道的情况下被别人盖房子了

我是一个普通的农民。因为孩子当兵不在家，我又和妻子在外的打工。有一天晚上突然一个老乡给我们说你的地被你哥哥买了。我们当时不信，等第二天上午就打电话问我大哥地的事，他不承认，我就说人家都给我说你前几天就签好合同了，把我的地买了，和你小孩舅签的，他才承认。我问他 你为什么不和我说一声，我的地我不卖，你只有权力卖你自己的，没权利卖我的。他就发火说，他签过合同了。我就不卖，他叫我回去，说我的给我，一人一半。我让我老婆回去，他不同意。说我老婆算什么，什么都没她的，我生气和他吵起来，她是我老婆，她没权利谁有权力，我不卖。谁知道2012年10月13日我开车去明光装货的路上，从老乡口中得知人家在我庄稼地上连地基都打好了，说我还晕来。我才知道，赶紧打电话个我哥问，他还和我吵，说限我三天到家，不然什么都没我的。我带着妻子开车回去到地里一看真是地基都盖好了，于是就到我哥家问，他问我怎么有时间回来的。本来的五间变四间，说我要想要两间，让我给人地基钱。莫名其妙的地被别人买了，盖房子，还叫我给地基钱。这么多年我看在他是我长兄的份上，地白白的给他种，不要一分钱，而且连粮补也给他领的。没想到他会这样对我们。我们看在亲兄弟的份上好好问他，他反而认为我们好欺负。说就额我们了不给我们，看我们能把他怎么样。让我们有本事去县委告他，看县长能怎么他，可干扒他房子。民间有一句话，房屋田边不让人，老婆孩子不让人。我地都被别人占了我能不回来吗？我就在窝囊也不能不反抗了。我找到村书记告状，村书记说他来调节，叫现在别告。如果我出去了，他还偷偷的盖。我是不是该找村书记，因为我已经告到村书记那里。问题我们的要吃饭，我要挣钱，得要出去，我不能在家等太久。我想请问一下，这样我该去哪里告，找哪个部门。