轻伤问题

事情在4月十三号，我与对方发生争执后，对方先动手打的我，我俩就厮打在一起，后来报案后，在警察来之前它不停的骂我，我一激动打了他一拳，鼻子打出血了，现场有我的老婆，我哥，还有一个旁观者，到公安局做笔录我说没打，我老婆，我哥，还有那个旁观者都说没看见打，确实没看见，我也没承认打，再后来对方住院了，住了十天的医院，说也鉴不上轻伤，找我协商要求赔医药费，另外再给点钱，我答应了，后来又不同意了住了半个月医院出院后做了法医鉴定鉴定为轻伤，朝我要四万块钱，我想给他一万，医药费花了五千，可是始终没达成协议，他并找出一个认证要指正我，当时出警的警察，一共三个人，其中一个警察说看见我打他了，对方并说四万少一分钱也不行，要不就把我送进监狱，我想问问各位律师我应该怎么办，我要是就说没打能行吗？我不是不想赔偿他，我想给他一万，四万太多了！