不给转让金能否要回房产名额

去年把一期房团购名额以3万元的价格转让给一远房亲戚的亲戚，一直拖到现在也没给，我们也没签协议，一共交了两次钱了，共三十多万，中间他一度认为3万元价格高，要讨价，当时问他还要不要，不给我转手卖给别人，他说要，就让他第二次交钱，但交完后还没给转让费，现在我生气了，当时因为是亲戚才要的3万，别人转让从5-10万不等，现在我想给他要回房子，当然他不给，说证据证明要过转让费。
现在他的证据就是他手里有两张交款的条子
我的证据就是他手里的条子是我的名字，单位上的购房者也是我的名字，也是用的我的身份证
我想把他交的钱都给他，再补给他两万元的补偿和平解决，他现在认为他家里在公检法系统里都占全了，处于强势地位，说到哪打官司你也打不赢，你去法院解决吧！
我也很担心如果打官司会打不赢，而且还担心他通过其他非常规手段，买通一些人把我的名字改到他身上去，我现在该怎么办，他这样横，现在房子是不能给他了，
请各位懂法的朋友给指点指点，我能不能先去单位补交款条子，以什么名义补，不补给怎么处理？