我们是属于劳务纠纷吗

我（曹玉珍）与祝俊英承包山林，2011年底，杨玉志（祝俊英丈夫）与曹顺升（曹玉珍父亲）找吕佩利清林山场上的杂木（事先我与祝俊英都不知情），后未与吕佩利签订劳务合同时，吕佩利私自上山清林三天，因他超采大径树木，杨玉志和曹顺升上山责备，另其改正，他一气之下去往别处干活，两天后，又回到我山上干活（也没通知我们任何一人），上山干活不到2小时因不小心让一个小木条拌倒，小腿骨折，入院手术后给杨玉志打电话，让其给付医疗费，杨没有查清事实，怕耽误治病就两次送去12000元钱，后来吕佩利再三索要钱财未果，将我们四人诉讼至法院，瑞在要求赔付78900多元人身伤残等各项费用？
    请问我们就是真输了吗？他只有一个雇佣的工人能证明他是在我家山上摔的，可那个人是他雇佣的，旁没别人能证明。而我们也不能提供证据证明他是在别的地方摔的。怎么办？