在我怀孕的时候，男方就以工作为由，经常夜不归宿，直到孩子出世就发现他原来一直出轨。后来自己想为孩子忍着慢慢双方去协调和好，但是男方更加变本加厉。平时的生活费都时而不给，而且把钱浪费在小三身上。公公曾经陪我去逮个正着，我老公脸皮还是很厚，一直瞒着我们还是跟那小三来往，还一起逼我离婚。现在我老公知道孩子太小抚养权肯定会判给我，更加肆无忌惮，不想赔偿赔偿给我还想放弃抚养权，他觉得我没足够证据，还一直说让法律处理。而我工作收入没我老公高，如果我也放弃抚养权的话，孩子归谁？而我老公家里本身也是普通家庭，公公婆婆50几岁无工作已退休，无物业，新买的车子都是婚后买的。现在想了解一下如果双方放弃抚养权的话，孩子会归谁，会不会得到什么赔偿？
----------------------------------------问题补充：--------------------------------------------------
如果孩子归我，男方事后不给抚养费，怎么办？让法律处理后，总是不给抚养费又怎么办？假如几年之后男方要求要回孩子，有没有这样子的？如果男方没钱，离婚前说借贷赔偿给我，这样行吗？会不会共同还债？