厂房在不知情的情况下被侵占

我家十几年前租用隔壁村的山地建石灰厂，并签了协议，协议上写着除非国家征用，此地我家可以一直使用。后来因为一些事，石灰厂停止生产了，本来可以将石灰厂出租别人的，因为公公生病一直没精力处理这件事，厂子就一直空在那里。今年突然知道有人不仅将我部分厂房拆除，而且还在我们厂子里建起了车间准备生产石灰。但此之前没有任何人过来跟我们说一声就拆了我们厂房占了我们厂子。此人是隔壁村的，据说他家很厉害，而且现在我们那里不准生产石灰，他也是偷着生产的。而且现在要求我们同意拆除厂房，不拆就架皮带往我们厂房上面运输。如果那样厂房都是灰，时间久了，房子也可能会踏。现在我们怎么办呢？