卖房方未告知买房方房屋打过官司，且房屋楼体漏水

前几天看好一套二手楼房，毛坯房，装修了一大半，第3层，双证齐全，当时卖方告诉我说房屋一切都是完好的，只要把剩下的一些装修部分装完就可以入住了，我看到阳台处的天花板有漏水痕迹，问卖方，对方说只是小问题，已经做好了防水。后来我们签订了购房合同，先给了20万元定金，还剩下40万，到不动产中心签订了契约。就在签订契约的第二天，下大雨，我再去看房，发现根本不是简单的渗漏，而是整栋楼房从六楼顺着大楼主体从墙体内一直漏到二楼，每层都漏。我到网上想查询卖方情况，无意间才发现原来该房屋该房主在两年前也是因为房屋漏水和其他人打过官司，当地法院官网上还有庭审记录，卖方却从未和我说起过此事。现在我觉得该房存在安全隐患，不想买房了，请问各位律师，我能否要求卖方退还20万元定金，至于什么违约金我都不想了，能把定金要回来就不错了。