我该怎么办

在我爷爷去世时，把家中的宅基地分给了我父亲和我大爷，我大爷不在本地。从来不管家中的宅基地，在我父亲生前以口头形式和大爷达成协议。我大爷同意在他地方上让我家盖房，我家出一块地方给他交换（地方是一前，一后的同一块）可现在我大爷又不认同这个口头协义了，要求我家把房子拆除，（我大爷家在他的任何地块上没盖房）我父亲又去世了（，我家在那地盖房都有6年了，分家也有14年，在说我家为这片地块打官司，我大爷家也从来没管过，多年来都有是我妈帮他们打理）请问叶律师我家该怎么办呀，难道说，真的要拆房吗。万分感激您在百忙中回复我的问题。