我要与养父母断绝关系，需要将之前的养育费还他吗

我今年29岁，几个月就过继给我二伯养老，现在养父母快60了，家里有地，猪羊鸡等，身体也好。他们极品奇葩程度我就不说了，太绝情太伤人心，现在问题是，我们结婚2年了，结婚酒席，彩礼，婚后买房生孩子装修都是我们操心的，他们在我谈恋爱时给我过2万，后来大小事没陶过一分钱，这两年零碎在他们身上也花有1万了。媳妇怀孕，坐月子，没人帮忙照看装修，上班没人带孩子，一切的一切，怎么求都不帮忙。现在是我们最困难期，我们夫妻合计月工资约4000元，我的工资只够还房贷，还要还首付和装修借的钱，，又要养孩子，生活都要靠丈母娘接济。可他们不体谅我们，新房装好了养父母要住进来，不带孩子不说，还说不赡养就把我们告法庭。平时一句话说不投机就会遭到铺天盖地的谴责。钱没拿到位，就会到处宣扬我们不孝顺，一点小事都闹得鸡犬不宁无法上班，孩子只有8个月我不想他在这样环境下长大。他们还有2个女儿，都想把养父母推我这，说我是儿子，本来就该养活的。请问这种情况我可以断绝关系吗？如果断绝关系，之前的养育费怎么补偿？