借钱

07年我认识了一个客户，82岁的老爷爷，后来关系不错，他认我做他的干孙女。09年6月，我跟他说我想投资开店，他说他可以拿钱给我做。后来他给我5万做投资经费。当时没有说要不要还，更没有提还款时间以及利息等。8月他儿子知道此事后，通过关系以咋骗为名把我抓进派出所，并逼我写下借条，借条大致内容是我向他父亲借了5万元投资并于2010年9月还清。我由于销量不好，投资不利，到现在为止陆续还了他儿子1万元（因为都是他儿子联系我还钱，并且不让老人家知道）。前几天我去找老人家协商，问他我可不可以分期付款或者延期还，并且不计利息，他说可以。同时我也告诉他我已经给他儿子1万了。但是他儿子死逼我还钱，并且威胁说要再次把我抓进派出所，砸店之类的。并且要让我在1星期内筹到钱。我现在不知道他的行为是不是合法的？我应该怎么处理这件事？