2002年我和前妻的哥哥在我们村改居分配的宅基地上合伙修建了三层住房，现在想要收回房屋，可以吗？

2002年我和前妻的哥哥在我们村改居分配的宅基地上合伙修建了三层住房，占地面积八十多平米，共花费三万多。按照当时的的想法我们平均分配了房屋，并写了个书面协议，后来政府为我办理了房产证和土地使用证，由于土地是分配给我的，所以产权证和土地使用证的名字都是我的。2007年我与前妻离婚。 协议房产归我所有。离婚后与前妻哥哥家里矛盾激化，我想要收回房产，初步跟他接触，他说要按现在的房屋造价给他，至少十万。请问：他对这房屋有没有实际的产权，他提这个数目合理吗？如果我给他付钱，应该按照当初的造价还是现在的造价给付，如果我按照现在的造价给他付款，那么他是不是应该支付给我相应的土地费呢？说明一点，土地是分配给我的，不是他的。请能给出明确的答案，谢谢！！！