买房子时，交了10万定金，想要回来怎么办？

各位律师，求你们帮我想想办法。
    最近看上了一套房子，在中介的忽悠下，加上自己一时的冲动，就付了10万元定金给业主。
    第二天，回到家，和老婆算算下手上的钱，还不够首付。想来想去，也抽不到钱，也就不想买了。
    第三天，我们把业主和中介叫了出来，说不想买了，能不能把定金退给我们。业主态度很坚决，定金一分不退。我们当时也想了想，是我们违约在先，合同上写的很清楚，不买的话我们还要赔钱。老婆也被折腾的不行了，说算了吧，定金不要了。当时大家都被折腾的不行了，因为还要带小孩，上班，大家都没经历了。所以就和业主签了个补充合同，房子不买了，定金也不要了。

    过来一段时间，越想越不对劲，这可是10万块钱呀。父母辛辛苦苦早出晚归，5,6年才能挣回来这么多钱，而这10万块钱一下子就这么没了。越想越难受，我和我老婆的感情因为这10万块钱也有了阴影，经常吵架，日子都过不下去了。老婆还因此生了一场大病。
我现在想把这10万块钱要回来，各位万能的律师朋友，有深有什么好的办法帮帮我呀。