买房问题

我家通过亲戚介绍的房产投资商买了三套房子（自己又介绍别的亲戚） 我家通过亲戚介绍的房产投资商买了三套房子（自己又介绍别的亲戚），因为是亲戚认识的，所以没有特别办理正规买房手续，只是签了一个协议（不是正规购房协议），之后他说要办房产证，就又把协议要回去了，当时没想那么多，也没有复印件。只是后来交房款的时候打了一个收条。收协议时也打了一个收条。现在我们看房子已经交付了（因为发现已经有人在装修）。但是那个投资商一直不给我们房子钥匙。一拖再拖，拖了很久了。今天又找他又拖到十五天后，中间让他写了一个说明，就是十五天后一定交钥匙，不然拖一天一套房500块，签字按了手印。不知道这样有用吗？现在他已经不接我们电话了，都不敢确定这个房子是不是他的，如果要起诉他，胜诉几率大吗？我们现在只想要钱，不想要房子了，可以吗？