结婚后未把户口迁在一起，一个农业户口一个非农业户口，对以后有什么影响

我和老公今年刚刚结婚有一个月，老公和我的户口是同一个城市但不在同一个区。他的户口属于农业户口，我的是非农业户口。
就在上个星期，我的户口所在地的计生办来电给我的家人询问是否把我和老公户口迁到一起，如果不迁的话以后会很麻烦。我和老公刚刚结婚也没孩子，而且我和老公以前各自都没有婚史，只是听别人说如果不迁户口以后有孩子可能不给落户甚至还要罚款，我感觉这不太合理，但都只是听说。
现在我想知道像我和老公这种情况如果不把户口迁到一起到底会有什么麻烦呢？难道真的像别人说的那样影响生活后患无穷吗？