手续费纠纷

我是做贷款的，半年前客户做贷款支付三千元手续费。现在说贷款手续费是答应他以后退还的。现在非说我是诈骗，要起诉我。请问这种情况他可以起诉吗？另外我从公司已离职，公司人员将我家人号码发送给客户，对我家庭造成影响，这种情况属不属于泄露个人隐私，我是否可以像泄露人员要求赔偿。