与养子断绝父子关系

您好，我想咨询一件家事。
  事情是这样的，我爸妈在我还没出生时抱养了一个儿子，现在41岁了，在15到25岁左右给他开俢车店，买摩托车等花了不少钱，到后面结婚后，可能跟媳妇有关系，找的一个是没读过书的，从那以后，夫妻两个对我爸妈就越来越不好，不但经常骂他们，甚至都还想打他们，把二老的心给伤透了，今年正月初一更是发生一件让人无法容忍的事，于是我们姐妹与父母商量不要他了，与他断绝父子关系，于是正月初二晚召集了双方亲戚，立了字据，我爸看在多年父子情份上也没找他要怃养费，只把房屋等属于我家的东西收回来，把他属于他的田地给他，但他要求好的田地给他，我爸也应了他要求。双方立了字据盖了手印，村里盖了印章，就是还没去公正，现在才过三个多月，他反悔了，说家产要给他分，他这个人是讲不清道理的，把我们这边的亲戚全部得罪了，大家都劝我爸妈与他断绝关系，否则以后不知会做出什么过激行为。其实由于是在农村，我父亲当时并没有办理收养手续，只是他父母当时写了一张字据而已，请问我们现在要断绝关系要如何操作呢？