农村信用社信贷员违规操作 帮别人贷款用的借款人是我的名字 我有偿债义务吗

因为种种原因，王某不能以自己和妻子的名义贷款（农村信用社5万元的小额贷款），故向我请求帮其贷款5万元，我在王某和信贷员的各种无风险的游说下，碍于面子不得已同意了，但是其中的原因农村信用社的经办信贷员了如指掌，而且让我在白纸上签字贷款，并让他们使用我的身份证，最终在王某和信贷员的运作下，贷款成功。
贷款发放的银行卡并未经过我手，便由王某与他人前往银行取钱，因银行规定取现金5万元以上的必须携带卡主身份证，所以王某取走现金49999元。
第一年的利息由王某按期偿还，之后由于急病，王某去世，妻子也离家而去，其母和兄弟拒不偿还利息及本金，我也不想去偿还贷款，故到期没有偿还利息本金。
现在信用社把我告上法庭，要求我偿还贷款。
请问，我应该怎么办？我能以信用社工作人员的违规操作，拒不偿还贷款吗？我如果败诉，会有什么结果？