我到底应该起诉谁退我支付的首付款？

事情比较复杂。
2018年12月，我前妻与张某因为购房纠纷打了一场官司，法院判决我前妻败诉，继续履行她们之间的购房合同，即我前妻全款购买张某的房子。
2019年年初，因我前妻把购房款移作他用，我跟她数次争吵后离婚了。顾及孩子，将我们现在居住的房子分给了我前妻，之前支付给张某的首付款分给了我。但张某不愿退钱，因此我同意由我继续购买她的房子。但张某要求一起去执行法院签下了一个协议，约定由我通过贷款的方式支付剩余房款。如果因为我的原因办理不了贷款，则恢复按原判决执行。
之后张某跟我前妻解除了购房合同，约定退她首付款。张某又跟我签订了新的购房合同。因办理贷款需要我转账给张某首付款的记录，我又重新找人借款支付了她首付款，她则把之前我前妻付的首付款退还给了我前妻，我前妻又转给我还清了借款。
之后我顺利办理了贷款申请，银行也通过了该申请。按合同约定，银行批贷后七天就应该过户，过户后一月内支付她剩余首付款，但张某坚持要求过户前就支付，否则拒不过户。因此跟张某起了冲突，她声称不再把房子继续出售给我了，但是也不同意退首付款，声称那是我跟我前妻的财产分割，与她无关。她要去法院恢复执行。
现在，我究竟我该起诉张某要求退还我支付给她的首付款还是找我前妻？