我想咨询有关抚养权方面的问题，我和前夫协议离婚有半年了（前夫出轨我忍受不了）

我想咨询有关抚养权方面的问题，我和前夫协议离婚有半年了（前夫出轨我忍受不了），两个小孩由他抚养跟他生活，刚离婚时我跟他口头协议好，允许我星期六星期天带在身边，大概一个多月后因为某些原因他不允许我带离他家，只能去他家看，去到他母亲又不讲理当着小孩面前骂我，小孩都被她吓哭了，我有打电话请我前夫做他母亲思想工作，可他不理。

        我现在想争取一个小孩的抚养权，又没什么有利证据，但现在听说他现在在外地工作，小孩由他母亲照顾，可这几天他母亲也不在家，他们把小孩留在家由我前夫现在的女友照顾。这样的情况我怎样做才有可能争取得到小孩的抚养权呢？我前夫未经我同意在我不知道的情况把小孩给别人照顾这样算不算未尽到父亲的责任啊？