动手拆别人家的土坯房（是没有人住的空房）属于什么罪，请问严重吗？

我方先动手拆对方空房，原因是有关风水问题，当然在法律上风水这两词是属于迷信，不合法的。在我爷爷那代有份合同。我方建新房庭院没超出一丈外，对方瓦房必须拆除，若我方超出一丈外，瓦房不得拆除。由于老人家没看清出合约内容，冲动之下拆了对方的土坯房（是没有人住的空房）政府也曾下发通知说瓦房没人住的一律拆除。由于对方听到这通知然后想把土坯房打上水泥。我方也曾跟他们一而再再而三的商量，求降低高度而已，对方依旧不肯。带导致我方冲动动手拆了土坯房，并未全拆除，只是降低了点高度。现知我方先动手，已知属于犯了法，但是这事是否严重!有多严重呢？？