买二手房，签了3方越后发现产权不完整。

我通过中介买二手房，卖家是一个女人，房产证上只有她一个人的名字。但签了3方约之后，我才了解到她是和前夫离婚了，还有一份离婚协议注明这个房产是属于她前夫的。她后来说是她前夫委托她卖房的。而她前夫现在被拘留候审，只有相关的律师才能见到她。

我想问一下如果我想继续交易，有什么方法能保障到我呢？
如果不能交易，责任方是在哪里呢？现在卖方愿意退订金，但因为已经给了中介费，中介又不肯退，我认为责任不在我这里，所以不愿意自己付这笔中介费用。