经中介购买了别人的单位与开发商合作的单位房指标，这样合法吗？

2013年1月31日，经中介介绍购买了别人的单位与开发商合作的单位房指标。
   那个单位的人2012年间分4次向开发商共交了140000元给开发商合作金，但后来这个单位的人把这个指标放到中介上转让给我了，而我给了这个单位的这个人的费用是160000元（包括转让费），但直到现在这个开发商都还没有开始动工建房子，开发商承诺是2014年6月30日前交房，但直到现在开发商还没有动工，请问我能不能向转让给我的那个单位的那个人要回我的16万元费用？找过对方了，不愿意协商。