担保责任免除问题

2008年6月4日,黄徇、黄秋菊找韦棠山，要求韦棠山到东兰县绿缘大洒店与原长江乡信用社一姓马的放贷员见面，为他们俩贷款作保证人，贷款2万元，他们俩各人要一万元，其中黄秋菊的一万元是她为其朋友陈江兰借(2013年7月25日陈江兰在给本人的电话中也承认自己得了这1万元)。后由黄秋菊的哥哥黄浩华、黄浩华的妻子黄庆统出面在场，让其亲戚陈伟全作为贷款人（因他们三人均已在银行有旧贷，按规定不能作贷款人），由长江乡信用社姓马的放贷员现场办理向长江乡信用社贷款4万元手续。要求本人为此笔贷款作保证人，本人不愿意，并声明自己还有旧贷在信用社，他们说没有关系，只是履行一个手续问题，故本人只同意为同单位的黄徇、黄秋菊担保2万元，黄浩华也当时立下一张贷款担保连带责任协议，声明本人担保连带责任只有2万元，另外2万元如到期陈伟全偿还不了，由他黄浩华来偿还，与本人无连带责任。现信用社要起诉,我该如何维权?请帮忙解决,谢谢!