相邻出入权纠纷

我继承的房屋有公共堂屋和后厅屋。其中后厅屋在1992年被两位邻居强行拆除老屋建房。我们也曾经交涉过，但他们还是把房子建起来了。我和堂弟两家当时就说后厅你们建房了，公共堂屋就属于我和堂弟两家的。那两位潘姓谢姓邻居公共堂屋就没有权力使用。包括出入权。其中潘姓邻居同意这样分配，另一谢姓邻居没有发表意见。就这样状态存在了二十多年。我由于在外乡镇工作生活，一年回老家次数很少，不能就近管理。属于我的公堂屋中线以北一直被谢姓邻居占用通行。2018年因潘姓邻居儿子需要建房。向我购买了正房三间和公共堂屋属于我的一半。现谢姓邻居以我卖房他不能从公共堂屋出入。说我侵犯了他的出入权。他在堂屋相邻处就有一间已倒踢部分的房子，完全可以出入。请教我把公共堂屋属于我的一半卖给潘姓邻居，是否会侵犯了谢姓邻居的出入权？谢姓邻居当年强行拆后厅屋建房是不是侵犯了我的公用占有权和使用权？