钱财纠纷

本人买楼，2010年通过中间人，购买某单位的在建家属楼。而且我是2010年就先给了楼款，现在楼刚建成，可中间人当时却没有把钱给开发商，他私自给用了。楼完成后中间人确实让我看楼了，不过是最次的楼，我没相中，现在我没有楼，我只想要回我的钱。可中间人百般推脱不给，我前几天带人去要钱，又让他打了2012年具体还钱日期的收据，不知是否有效，这属于民事纠纷，还是属于诈骗。我怎么能最快拿回我的钱，是否可通过要钱公司要钱。中间人有工作，还属于单位领导。我该具体怎么做。还是以暴制暴，通过黑道解决。