小产权的房子付了首付怎么办

在今年2月份购买了一套97平方的房子，看的时候大体框架以及外面砖块都已经装完。就等安门窗。当时口述3月底交房，要求预交10万，剩余的交房付钱，可签订合同上没有写交房时间，只到5月打电话问开发商，他说7月一定交，7月又说月底，到月底首又说8月，8月后说十一， 一定交，可到了十一去看的时候和2月份看的一样。没什么变化，之后电话协商，说自己安装门窗，但是要求把剩余的钱付清，因为我要求拿到房产证后付剩余的钱，可开发商不行，之后要求退房，答应后，打电话不接，他只管他在别处和盖的小区。要线一直推脱。但我下载没有证据能能证明他说的交房时间，只有一个中间介绍人可以证明，电话里也多次提到交房时间，可点发一般是没法查通话内容。我想问下我可以通过什么方式追回钱财，需要找那些部门？