没有得到授权的人代我签的调解协议为什么对我有约束力

我被同村村民殴打并造成轻微伤住院后，由于殴打者亲戚是我镇镇长，村委会干部为避免殴打者受到处罚，私下作为殴打者的代理人与我的两名族人(均不是三代以内)签订了虚假调解协议并加盖了镇人民调解委员会的公章，之后交到派出所，我得知后以签订该合同的两名族人作为被告诉讼至县法院，并要求县法院认定该调解协议无效，但是法院却以我的被告是错误的为由，驳回起诉，且判决书中还认定村委会干部与我的两名族人签订的调解协议在形式上对我有约束力，该调解协议1.没有本人签字；2.没有任何口头或书面委托证据；3.开庭当天，两名被告均没有到庭，是直接缺席审判的；而且调解我既没有参加，事后也没有追认。并且调解协议上既没有我的签名也没有殴打者的签名。请问一下各位专业人士这是怎么回事？我的两名族人明明是侵犯我的权利，为什么法院说我的被告不对，但庭审前庭审后都没有要求我追加其它被告呢？