今年初，我和我女朋友经媒人介绍认识，在我们见面的时候，媒人说要辛苦费

今年初，我和我女朋友经媒人介绍认识，在我们见面的时候，媒人说要辛苦费，凡是参与介绍我们认识的人每个人要50人民币。而介绍我们认识的是我女朋友他们村子的。我和我女朋友村子这个媒人认识又是我这面一个媒人介绍的。所以后续都只有我女朋友村子这一个媒人。
我和我女朋友见面前，那个媒人说只有他和我这面媒人两人。而在我和女朋友见面后又说还有我女朋友她姨奶。所以向我索要了150元人民币。当时我犹豫了下还是给他了，因为开始说的两人后来又突然多了一个，我也是半信半疑的，后来问我女朋友她说根本没有她姨奶这事。
此后他从未了解过我们进展，而在一个月后，临近过年，媒人突然给我打电话，威胁的口气跟我说，我和我女朋友成与不成，他一句话的事。过年后又打电话给我，说我没有买点东西去看望他。几天后我特意买了一百多块钱礼品，和我爸一起去了他家一趟，跟他说和我女友订婚的事。我们跟他好话好说，可他第二天去我女朋友家里胡说八道，说我们家什么条件都不答应态度还蛮狠……至此，因为这原因我女朋友父母特别恼火，对我们的发展造成了巨大障碍，从我女朋友口中得知此消息后我家也是火冒三丈。第二天我就去找了我女朋友家人，叔叔跟我说那媒人说我家啥都不管，他们提的条件也不答应还蛮狠……后来我打电话给媒人，他却装作没事人。还说跟我女朋友家里说的多好多好……也是因为这些问题，我一气之下去了外地，这时候是三月底。五六月份，我再次给媒人发微信消息，却发现他给我删除了，我打电话过去他却表现出不知道我是谁。我表明身份后，问他为什么删除我好友， 他却说没有网才没收到我消息。我和他辩论几句他死不承认，我一气之下骂了他，事后我挂了电话。他不但不承认错误还反咬一口，打电话给我爸妈和我女朋友父母，胡编乱造一起说我要杀了他又怎么恐吓他，其实我也就是骂了几句根本没说这些话。后来他又给我打电话威胁我还。说他已经报警了，他在家要是出了什么事警方第一时间找我，其实我当时在外地，根本没把这些话当话。他说他当过兵，在特务连待过几年又怎么样，还要去我家找我父母……就是一个不知廉耻的人。因为这个，我和我女朋友就分手了。的确是，我们认识因为他，分开也是因为他。但我们分开不是因为感情不好，而是那个媒人……八月底我回来后又和我女朋友复合。我们考虑要结婚，本来我女朋友家反对的，后来通过我们一起努力终于说服了她家所有人。可现在牵扯一个问题。我们两家都想结婚，可因为前期那媒人不干人事造成了很大的负面影响，媒人又和我女朋友家在一个村子。我们想撇开他，可能费劲，跟他说我们结婚的事吧，我两家都因为被他骗过又不愿再搭理他。担心结婚的时候他来闹事……因为他那人是出了名的坏，本来我想好话好说解决，可试过几次他都不识抬举。
以上就是事情的具体情况，我想咨询下他的这种行为能不能构成诈骗罪？或者需要什么证据？还是说我该怎样处置才能稳妥