房产土地纠纷

各位律师，谢谢在百忙之中解答我的问题。
   我父亲是青岛胶南x村人，早年闯关东到了东北。当年走的时候在村里有四间土房，后来村里统一规划给推到了。八十年代，国家政策号召闯关东的人员回乡，并统一给回乡人员免费盖四间瓦房。我的父亲有意回来，村里也给划出了宅基地并办理了农民建房用地使用证。结果在这期间我母亲病重，就在东北治病，花光了所有积蓄，回乡的事也就此耽搁下了。
    现在父亲年迈，想要回乡盖房居住。现在手里有1988年签发的胶南县农民建房用地使用证（有胶南县人民政府、胶南县土地管理局盖章）、农民建房用地申请表（有村委会、镇政府、胶南县土地管理局印章）。村书记及村委会也都承认有此事并认可，允许盖房。但是当年话给我们的盖房用地被一村民吴某非法种上了树，并且死活不给腾地方，赔偿树钱也不给腾地方。村委会调解无效。
    我现在想起诉尽快盖房以便父亲居住，请问我应该起诉村委会还是村名吴某，还是双方都起诉？胜诉的几率大吗？