楼上扰民怎么办？

我家楼上住了4个大人和一个大概4岁的小孩，平时生活的噪声特别的大，走路的声音也特别大，有几次晚上起夜的噪音声音都能把我吵醒，有几次晚上都快11点，家里的小孩还在一直闹腾，我就上楼敲门，家里大人不仅没有歉意以小孩儿为由直接说管不了，还没等人把话说完直接就把门关上了，最后一次照上去的时候那家小孩的妈妈直接跟我说：“你要是有本事就让房东来把我们轰走”，太没素质了，完全就是不讲理的人家。