讨债的时候发生一点纠纷怎么处理？

你好，我想请问一下我爷爷以前把钱放我们村的书记那的，他有打借条，我爷爷去世以后我拿去他把借条转我名下了，但是这我这两年找他要钱他一直说没钱之类的话一直没给，去年腊月底我舅妈和我表弟还有我外婆院子和我一起长大的两个朋友我们一起去找他要钱他还是说过了正月十五在说，然后我舅妈他们就生气了就吵起来了，我表弟他们就骂了他，他就说那钱我拿不到了，他不给了，我表弟他们就说要打他，然后他就从家里拿了根钢管出来打我们，这样我们就纠缠在一起了，后来他就说要开铲车把我们的车给压了，车是租的，我表弟他们就上车走了，就我和我奶奶在那没走，他就给我说要我给他赔16万他就还我的一万六，要不就把我表弟他们叫回来他也找人我们打一架，谁赢了输的就给钱。 
后来我姨父就报警了还给我们镇政府打了电话警察才来的，他当警察的面也说的叫我给他16万，后来他说过了正月十五要我到镇政府他们开会的时候要我在他们会上给他道歉，给他澄清他不是欠钱不还，我问他是不是那样就把钱给我，他说看我表现再说。 
我想请问下要是他还是不给我我该怎么办，可以找纪委吗？要是我把借条给他他给撕掉不给我钱怎么办？