房基地纠纷

律师您好：
             我父亲杨用和在95年经村长与本村民杨红吉交换房基地。当初是文盲的父亲听信村长，没有书面协议，只有当中间人村长的口头证明。95年后半年我父亲就在交换过的房基地上建起了基础。因当初我们年龄还小，没有建房。到2000年，我父亲想给我们盖房。对方反悔，不让我们建房。因交换后我家老房基地让别人侵吞，盖房尺寸不够，所以我家不同意。同年杨红吉不在场的情况下，杨红吉他大哥（杨红昌），二哥（杨红生），三哥（杨红富），他干亲叔叔（高虎全）等等九人。逼迫我父亲杨用和签下协议。内容如下：
         用和与红吉换房基地一事引起纠纷，经双方协商，达成如下协议：
         一  3月25号用和负责把立石拆除，27号前红吉不得动工。
         二  地梁及以下片石连工带料作价2300元，给红吉。（地梁及片石归红吉所有）
         三  用和签字后先取走现金1000（壹仟元）。拆清立石后由中间人付清剩余1300元。
              空口无凭，立字为证。双方不得反悔。  
                                                            立字人：杨红昌    用和         中介人：高虎全  。（注：没有年月日）
       
              现在我们弟兄两家人同父母住在一个房中。急于建房。他家拿来村里出具的97年房屋批示。不让我们在在建基础上盖房。说要起诉我们。我们该怎么办，就是打官司，我们应该怎么应付。