我现在可以交自己的女朋友吗？

我與妻子婚後有一子一女，08年因為她的問題，我們分居。後來因為孩子考慮，她要求复合。但是到09年底發現她仍然有其他男朋友，來往甚密，於是我去律師樓單方面簽了離婚書，分居。小孩一直我帶，每個禮拜會送到她家去住一下。但她一直未去簽字。
2010年我有了自己的女朋友，意外懷孕。但聽朋友說，這樣的情況，妻子可以有權利告我重婚或是什麼的很麻煩，是這樣嗎？
讓我很煩惱，現在這樣的情況應該怎麼處理？我們户籍香港。