请教农村宅基地纠纷

本人祖父（在世）于六十年代末期携全家回祖籍购买房屋一处（房屋附有一处畜舍，与房屋本身不相邻），八十年代中期政府重新规划村里宅基地，在时任村长（已去世）主导下以我家畜舍与同村村民A（在世）调换宅基地（口头协议），并将该畜舍作为新宅基地分给了A村民的叔辈兄弟B，而我家用调换来的宅基地建了庭院。时至今日A的儿子声称庭院土地是他家所有要要回原有宅基地（他只有古老的购房合同，没有房屋使用权证）。并在我不知情的情况下私自将我所建院墙拆除垫了地基（此事彻底激怒我，我自幼生于斯长于斯，对庭院感情厚重，断了“让他三尺又何妨”之念）。请教律师先生，一他要追回此院的诉求是否合法？二他未经我允许拆除我庭院之行为是否需承担（何种）法律后果？三在争议未解决之前，我若主张其恢复我庭院旧貌是否有法律依据？四祖父淳朴，我若念孝心不与人争利经村委调解同意归还庭院土地并得回原有畜舍土地，若他日B后人以畜舍原为其宅基地为由再向我追回畜舍土地，我将作何反应？（我的逻辑是铁打的村委流水的村官，若前任村官做的合法决定可以被推翻，后任的也可能被无视）隔行隔山，望您可以回复指教一二，不胜感激。