婚姻财产

几个月前我哥哥和我嫂子结婚了，婚后我哥丈人说在他家附近买房子，让我们家和他们家各拿出10万，交房子的定金。但是当我们家把钱交完后才知道我嫂子他们家只交了2万多。他们家的理由是家里出事需要钱补漏洞。就这样就只交了12万多定金。但是在这半年里，我哥他们两口子的关系越来越不好。我嫂子怀疑我哥外边有人，我哥终于受不了她，便提出了离婚。但是这时我嫂子怀孕了，她们家见我哥提出离婚便悄悄把那12万多定金提了出来。（本应该在售房处提定金需要我哥亲自去签字，但是我嫂子拿着我哥的身份证复印件和他们的结婚证便把这钱提了出来）然后他们就始终拿着这些钱，他们明确说这些钱如果我哥还是决定离婚，他们就不会还回来，说当做以后孩子的抚养费。请问律师在这种情况下他们扣留我们家这10万块钱是否合法。我们通过法律途径是否能把钱要回来。