房产纠纷，请求帮助

几年前我家向邻居买了一套职工安置房，由于当时拆迁，可以为职工安排职工安置房，他是厂里职工，而我们不是，但是他不想在这里买房，所以我们就找他以稍微高些的价格向他买了，盖房子的钱全部我们这里出，到时候我们再多一部分的钱给他。由于当时是邻居觉得这个人还为人还不错就没有找人公证签合同，而只是自己私底下签了合同。对方有签名和手印。当时盖房子是要交的钱都是我们去交的，他一分钱也没出过，发票也都在我们这里。但是现在房价升高了，他就不想卖了，以各种名义要找我们要钱，比如房子没盖好前过渡期的过渡费（在合同里过渡费是属于我们的），还要我们交现在住进来后房租（房子没过户还不属于我们的），等等费用。合同上写如果我们违约要给他3万，他违约要赔我么15万，但是他说合同上没有他老婆和儿子的签字所以无效。现在找他说可以多给他一些让他和我们过户他也不理睬我们了。请问该怎么办？由于我家的经济比较困难。请你帮助我，诚心谢谢你。