夫妻共同财产的农村宅基地交换时签字是否都要到场

事情的经过是这样的:
    2015年初的时候，我爸将我老家的一块宅基地（有土地证）和一个邻居的一块宅基地（没有土地证，只有跟村委购买的凭据）进行交换，双方也签好了意向书，也请了一个村里的一个老人做了公证，但双方是没有互换钥匙，房子里面的东西也没有搬移。15年中的时候，签意向书的那个邻居突然死在了他们原来的那块宅基地的房子里面。
    基于我们还没有正式移交，土地证也没有过户。我们是不愿意接受这么一块刚刚死过人的宅基地。签合约之前，我妈（宅基地共有人）一直是不同意的，当时我爸在签约时我妈没有在场，是背着我妈偷偷签的合约。
    那个签合约的邻居死了之后，将交换宅基地合约当做了遗产分发给了他的大儿子，现在正准备强拆我们的房子。
    基于这样的情况，我们是否可以认为原合约有问题，或者有什么办法终止合约？