请问一天24小时骚扰电话算违法吗？

我在淘宝网买了一双鞋子，质量不好，我想退货，我问卖家，结果卖家还居然打电话过来，不许我退货说什么这只有几十块钱的鞋子，我说那我只有评差评了，结果对我一顿狂骂，诅咒全家的话，挂断电话后居然时时刻刻骚扰电话攻击我，我现在在淘宝里面投诉了，一直没有审核完。请问我该怎么维护我自己，我在投诉中说一句，他老反驳，从不承认的态度，我已经拿这样的人无可救药了。