欠款问题，出借人这算诈骗吗？

2015年5月5日我和担保人（担保人是经他人介绍的）向民间借款人借款，当时借款金额为15万元，出借人说害怕我们不还钱要打25万元的借条，因为担保人和出借人认识劝说了我说没事，我就打了借条担保人也在上面签字了，打完借条后出借人已当日资金不足为借口只给我打了将近3万元，称剩余部分次日打到我卡上，第二日因迟迟未收到后续的借款我联系了担保人，请担保人联系出借人询问，担保人联系后回电给我说借款人资金紧张可能无法将后续的钱打来，我问担保人说钱没打来但我们打的条子怎么解决？担保人回复我说没事他和出借人认识，而且出借人还在找他办事，借款到期后还3万就行了，两个月后我还了借款人2万多元，因担保人说后续问题他来解决我就未收回借条。2016年5月出借人找到我单位手持欠条称借条是我打的要求我还款25万元，我联系担保人才得知担保人因欠下高额贷款为此不知所踪了，而且对方不承认我有还过钱，所以我又还了3万元给对方。现在出借人要求我归还剩余的钱，我不同意并告诉对方说你只给我打了三万，现在出借人带着一群人不停的到我单位和家里对我进行骚扰！我想问问律师对方是否构成诈骗？我能否依靠法律？