缓刑人员能否继续在村委会工作

第三十九条 劳动者有下列情形之一的，用人单位可以解除劳动合同：
（一）在试用期间被证明不符合录用条件的；
（二）严重违反用人单位的规章制度的；
（三）严重失职，营私舞弊，给用人单位造成重大损害的；
（四）劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
（五）因本法第二十六条 第一款第一项规定的情形致使劳动合同无效的；
（六）被依法追究刑事责任的。
看到第六条了么？？？很清楚了。

不算侵犯人身权益

这是可以的