您好，曾律师，我在自己村里对换了3分田地，又买了3分田地，现用来建房请问合法吗？因为我要建房，用换来的3分田地再交换1.5给我建房的后面人家修路，还写了个协议，从买来的田地向换来的田地后移一米建房。他去年年初就修好路了，今年我要建房了，要求一大堆，这里不能高，那里不能出。需要四至签字，他就是不签，还口口声声说同意你建，但不能给你签字。还百般刁难，只要不满他的意，现在还去县国土所告状去了，说我买卖田土，我该怎么办？