淘宝官方对淘宝卖家特别不公平

我是刚在淘宝网上开店一个月的卖家，属于代理商，代理的是第五代的产品，因为开店时间太短，对整个淘宝规则及流程都不熟悉，12月底，到我店里来个买家，半句话都没问过我的，直接拍了我一款衣服然后支付了，才再来问我有货没，我立即去查了，没货，告知后，立马把货款退给买家了，而买家不听我半句解释，就立马去投诉我了，淘宝官方接到投诉处理结果是违背承诺，要扣三分，并且赔偿买家货款的5%，这笔交易前后不到十分钟，从付款到退款，而买家并没有半点损失，而我是第一次做生意，又不知道每天都要去查货还有没有的，而淘宝官方就判定是我的错，并且要赔偿，如果，买家有损失，我赔偿我应该，现在的情况是，买家在十分钟之内因为没货他就得到几十块的赔偿，对我一个新卖家公平么，淘宝的规则也太坑人了，也给那些不良买家一个钻漏洞的机会啊 ，这个买家同时还投诉了另一个店的卖家，以相同的理由和相同的一款衣服，淘宝的规则是买家支付货款后，卖家必须在72小时以内发货的，不然会受到赔偿买家5%的罚款，请问，买家在72小时以内虽然支付了货款，但是，我也在十分钟之内退了货款啊，这样买家没半点损失，为什么我这个卖家却有？？？淘宝也太欺负人了！！！