借款四万，至今不予按时归还

王律师您好，我岳父在海鲜市场做小买卖，前几年有一个经常在我岳父摊位买货的人，说给孩子办出国需要用钱，就像我岳父先后共计借了四万块钱，也打了借条，期间我和我的一个公安的朋友询问欠款不还如何处理的事情，我朋友还特意告诉我说打借条的期限不能超过两年，随后我又让我岳父把这个借钱人找来了，重新写了一张借条，归还全部借款的期限是到今年的4月1日，借条上写了如果到期仍未按时归还愿承担一切法律责任，同时根据借款的数额和时间承担借款的利息，但是经过多次的打电话催要，对方始终说没有钱，等一段时间，这四年来一直就是这么有意的在拖延。这个借款人在海鲜市场和不同的几个人一共能借了二十来万，谁的都没有还。之前我也想过找清欠公司去索要或者找社会上的那些人去要，由于工作忙也就没有找。这个人原来是在铁西九路市场卖货的，现在自己也不去了，找人也找不到，打电话催要一直都在推脱，这么长时间了，家里老人也都挺上火的，毕竟借出去的前也不是个小数目，不能就这么不了了之了，更不能纵容这种人。
请问王律师这件事应该怎么处理啊，走法律程序后能是怎么样的结果啊，他的这种行为够不上诈骗吧，我是不是可以直接起诉来维护自己的权益，或者我就找公安朋友，通过公安机关去找他。