请问此人行为是否足以构成诽谤罪

事情是这样，我的父亲是一名省直事业单位领导，该单位前任领导李某由于工作能力不足，被上级机关任免其再该单位的职务，由我父亲接管该职位。而李某则失去了所谓的实权。我父亲接任后由于对单位尽心尽力，工作能力强，得到了上级机关的认可（此叙述不含亲情成分，完全客观负责）。此时，李某开始大肆在单位找很多工作人员私下谈话，拉拢之意明显，关键是多次对人说我父亲浪费国家拨款、不能使单位营利、以权谋私、财务账目不清等损害我父亲名誉的言语。李某的言语完全是捏造事实。由于我父亲为人确实正直大气，不少工作人员被李某找去谈话后都向我父亲反映了李某的所做所为。父亲不愿意与其计较，只是偶尔将李某的所作所为回家当笑话讲给我和母亲听，还说让我们不用在意。 
所谓说者无意听者有心，我和母亲必然没有父亲那种从容大度，况且担心李某会对父亲做出更加不利的事情，尤其是母亲更是整日为此事烦恼。我和母亲也不想用什么阴险的办法报复李某，毕竟再坏的人，我们也没资格去惩罚它。但是我想，是不是能用法律手段警告或者处罚李某，这样既不违背良心，也不触犯法律。现在由于准备不充分，就先将事情大概叙述于此，请各位法律精英帮忙分析一下，至于取证，我想人证应该不少。如各位认为李某此举构成诽谤，母亲和我想依法上诉。 
谢谢各位回答！小女子不胜感激！