相邻建房造成损坏的鉴定及估价赔偿等问题

县城空地空着六年了现在要建房，要建成四层加斜屋面，我家三层半（才建起七年左右）与其是相邻的房屋，墙体就隔着一个50厘米的滴水沟。我家房屋墙体、楼板现已有小裂缝，在建房前他会申请公证处来拍照取证、量取裂缝长度等进行公证，我怕他建房后裂缝程度加重或者造成我家房子更多裂缝，我们双方协议他交六万元给我做为建房防损保证金，期限五年无息，从他建房动工之日算起，如果到时有损坏，让他修复好吗？我怕他是拿桶水泥随便了事了，房子坏了就是坏了，保证金不退他，我想直接让估价赔偿对吗？五年后房屋鉴定、估价赔偿要哪个部门进行，他说还是请公证处鉴定取证对吗？公证处会准确估价吗？现在正在写双方协议书，谢谢请专业人士详细解答我的问题给我建议。