请问一下律师，我家以前的老宅基地是我和我叔共同所有，有一家邻居和我叔商量了把宅基地调换一下

请问一下律师，我家以前的老宅基地是我和我叔共同所有，有一家邻居和我叔商量了把宅基地调换一下，他家可能有一间左右我家老宅基有两间左右，这家邻居又买了一点，总共够盖两座房子，说的是换好以后连他买的一起平分一家一座，谁用多少宅子出多少买宅子钱，钱他先出上，当时我感觉还可以，他们商量换的时候我也没说什么，（那时候我和我叔没商量好是他盖还是我盖，他也知道，如果商量不好，我买那一点也没有用，所以钱一直没有给他）他家的房子先已经盖好几年了。现在我和我叔已经商量好了我们家的老宅基都给我，让我盖房子，我要把钱给他他不要，宅子不想给我了，他现在各种理由不想把宅子给我，不想让我盖，说他的钱放银行涨利也涨了几年了。我说我的宅基地和你换好你也住几年了，你们家里尽量商量一下，咱别伤了和气，他说我说话不好听，要给我拿刀干架。请问我现在该怎么办？