当父母未做到父母责任与抚养时爷爷奶奶是否有权力争取孙子的抚养权呢？

你好，事情是这样的，由于我哥与他老婆在两年前做生意的时候失败导致要向他老婆家的阿姨的女儿（简称表妹）借款，第一次借款协议是由他老婆一人签字，之后由于借款时间已久，表妹一直找上门来要钱，还向我父母家叫骂还不算还出口恐吓说要把我哥两个儿子抓去卖，把眼睛，心肝挖出来卖了，我哥与他老婆也一句话都不说任由她表妹，我父母听了马上激动起来，说他们俩与你借钱与小孩无关凭什么抓他们去抵债，再说小孩他们俩一直没有尽到父母的责任还有抚养费，这些最基本的他们做父母的不但没有做到就连上幼儿园的学费，还有各种杂费都是我父母付的款。
  之后一直不停的闹这事到了去年年前（2015年到2016夸年前）他表妹又上门来说了些也是很过份的语言，我父母心里面越来越是担心，之后他们就想把三位小孩带回家过年就不回来深圳（不过结果也只带了两个，一个大女儿十二岁还有一位小儿子三岁，二儿子过年时他妈妈带），耐何我哥的女儿还在深圳这边上小学也没有写到转学证在老家也上不了学，这样会影响学习所以年后农历十二也就早早过来深圳做好去上学的准备，然而没想到的是在农历十五前一天晚上也就是农历十四那天晚上，我哥他就跟我父母说谎说要带小儿出去打“蛋珠”（大女儿也跟着一起去）我父母完全未意识到原来他是要带给他的老婆带回她老家湛江去了，我大侄女边哭边走着回来告诉我父母这事，我父母当时心都崩溃了，我父亲还马上骑自行车到处找了一遍，直到跟我哥确认事实之后才回来，我一听这事就马上打了110，但110的人跟我说由于他们未离婚做母亲的是有权力带走他的子女，然而就算是没有尽父母责任还有抚养，但扔然有权力带走。110的人建议我们可以试在民事那边起诉。
我想问一下像以上情况，在父母由出生到小孩几岁一直未尽过父母责任与抚养的情况下（一直有爷爷，奶奶带大）爷爷奶奶是否有权力争取孙子的抚养权呢？