我老公出轨，我们分居一年了，有两个孩子，孩子现在在我娘家。分居的这一年他们家要面子有需要到孩子的地方就来我娘家接回去，没需要孩子了就又送到我娘家来。。我老公家还欠我娘家十几万钱，当初借钱建房子出于信任，娘家直接给现金的也没写欠条，现在我想离婚，但是我老公家不承认借钱的事。现在公公癌症快要去世了。我不让两个孩子回去看公公。这样犯法吗？我不让两个孩子回去看公公，对我以后离婚有什么不利吗。
----------------------------------------问题补充：--------------------------------------------------
我老公跟婆婆有来我娘家看孩子，想把孩子接回去，我不让两个孩子回去，我爸爸就阻止了我老公跟婆婆接孩子回去。现在孩子在娘家没回去看快要去世的公公，这样我犯法吗。对我以后去法院起诉离婚有什么不利吗。