投资建厂中途合伙人不投资不算账一直拖着

我与别人合伙办厂，中途别人不投资了，投资地点在他家附近，现在他占有40%的股份，厂子不能运营，他现在拿厂地当他的仓库使用，我是外地的，我们与他协商或者他接手或者我们接手，他都不同意，要我们继续投钱，从建厂到现在连我们投了八十多万，都是他一手花出去的，现在连帐都不跟我们算清楚，我们已经找过村子大队里协商，他不服从协商，我们然后要怎么办？总不能那么多钱放那没办法了吧。