男方离婚有一女孩，跟我结婚后有一男孩儿，孩子不到一岁的时候感情破裂

男方离婚有一女孩，跟我结婚后有一男孩儿，孩子不到一岁的时候感情破裂，分居到现在，孩子快两岁了，本来说好这协议离婚的，现在男方又不同意了，这一年多的时间男方从没管过孩子，没有看过孩子，现在男方要威胁我把孩子给他，我要不把孩子给他，他就一直拖着不给离婚，我想要孩子的扶养权，请问我起诉离婚法院可以直接判离婚吗？时间太长了，我不想再跟他拖下去了。