抓取微博数据被判赔千万，看信息抓取行为的司法认定

8月18日，北京海淀人民法院审结微梦创科公司（微博运营方）与云智联公司（超级星饭团app运营方）不正当竞争纠纷一案，一审认定被告云智联公司擅自抓取、使用微博数据的行为构成不正当竞争，判决其赔偿微梦公司各项损失共计1220余万元。本案中最大的亮点，在于法院对互联网平台信息抓取行为的性质及界限做了更为深入的阐述。追星界的“垂直服务”云智联公司系涉案超级星饭团app的开发运营主体以及超级星饭团网ICP备案主体，其称涉案app基于明星粉丝需求汇集了境内外公开的全网数据，并使用特定技术对所获取数据进行加工定制，为粉丝与明星互动搭建桥梁。

超级星饭团功能

案涉app通过在全网搜索明星信息，在相关页面集中展现，实现了对特定明星动态的全掌握，极大满足了追星族的需求，堪称追星界的“垂直服务”。其抓取的绝大部分信息，均来自微博。
微梦公司称，被告所抓取的信息包含十五类明星微博动态数据：明星微博在线状态、明星在线时间、明星发微博、明星转发微博、明星关注他人、明星空降超级话题、明星上热门话题、明星上热门微博、明星上热搜、A明星赞了他人微博/ B明星、明星被他人赞、A明星评论他人微博/ B明星、明星被他人评论、A明星被B明星在微博中提到、A明星被B明星关注。

关注明星列表

因此，用户只需要关注自己喜爱的明星，便能实时知晓该明星在微博上的一举一动。

微梦公司认为，其投入了人力物力等大量成本形成并保护涉案数据，涉案数据是其核心资产，其在《微博服务使用协议》中明确载明：用户可通过设置功能自行控制、把握查阅其信息的帐号类型；微博平台是该平台和微博产品的所有权及知识产权权利人；微博平台是微博平台及微博产品中所有信息内容的所有权及知识产权权利人，前述信息内容包括但不限于……数据资料……等。
因此，微梦公司主张云智联公司非法抓取、推送、展示涉案数据的行为构成不正当竞争。
微博后端数据被抓取？
从逻辑上来说，抓取方对信息的展示，在时间上必然要迟于信息首次公开的时间。但微梦公司却发现，超级星饭团app上的某些信息居然能够早于微博展现！

因此，微梦公司认为被告并非抓取的公开数据，而是通过某种方式获取了新浪微博后端数据。
微梦公司指出，前端数据应是肉眼可见的数据，应用或浏览器渲染前的数据均属于后端数据；而涉案数据系以结构化形式存储在微博服务器中，只有经授权访问特定链接，选择特定源选项才可看到，故系后端数据。
微梦公司通过以下几个方面证明被告非法获取其后端数据：
第一，微梦公司通过用户注册登录等规则限制非用户访问涉案数据。用户非登录状态下，浏览明星微博帐号下发布的微博，显示的涉案数据是有限的。例如，用户未登录状态下仅可浏览公证当日新浪微博中的热门资讯，而不能浏览历史数据。
第二，涉案App中展示了新浪微博前端未予展示的部分数据。因部分明星不希望其动态信息被推送到前端，故新浪微博前端未显示前述明星动态信息，在其超级话题界面中无动态板块，亦不展示动态信息；新浪微博用户即便在登录状态下，也无法在任何新浪微博产品前端直接查看这些信息，但上述数据仍存储于新浪微博服务器之中。而涉案app中却能展示这些明星的微博动态信息，说明云智联公司系抓取了微梦公司未对公众开放的涉及该部分明星微博动态息的后端数据。
第三，就同一类涉案数据涉案app的推送和展示时间早于新浪微博。微梦公司认为，就同一明星微博动态信息，涉案app的推送和展示应当晚于新浪微博，但微梦公司却发现被告app上部分明星动态信息更新时间早于微博，亦说明其抓取的涉案数据系新浪微博后端数据。
第四，涉案app中的涉案数据规模大且系实时展示。涉案数据与一般的新浪微博数据之间的不同在于前者体现了明星动态数据的变化，如非通过抓取后端数据实现，仅能通过用户24小时在线监控某一明星动态才可获取该据；而涉案app中推送、展示的涉案数据规模巨大，且与新浪微博几乎同步展示涉案数据，故涉案app中的数据不可能是云智联公司抓取的新浪微博前端数据。
第五，云智联公司未经微梦公司或明星授权获得涉案数据。微梦公司提交其与华谊兄弟文化经纪有限公司等案外人签订的《微博娱乐全面合作协议》，协议约定案外人应确保其向微梦公司提供的艺人及工作室帐号均为独家签约帐号，应该确保其向微梦公司提供的艺人经认证的个人微博社交帐号独家在新浪微博，工作室帐号的原创内容优先在新浪微博发布等。微梦公司据此认为，其以独家签约帐号的方式取得经纪公司或工作室旗下艺人在新浪微博中明星和其工作室注册帐号的权益，并限制其在新浪微博任何竞争对手的社交平台开设相同或近似的认证帐号，即云智联公司并未通过微梦公司或明星授权取得涉案数据。
第六，涉案数据的规模决定了云智联公司抓取系使用了不正当的技术手段。微梦公司专家辅助人称，涉案数据系后端数据，如在正常情形下访问均需访问权限，且新浪微博服务器会记录搜索引擎、登录或非登录用户获取数据的行为，如记录登录用户的IP、UID等信息，但云智联公司的抓取行为却未被正常记录，故云智联公司应并未使用表明其身份的网络爬虫或其他正常访问行为抓取涉案数据，而是通过伪装成用户登录或模拟用户行为向新浪微博后台服务器发送请求，并按照浏览器规则进行解析，获取涉案数据。而涉案数据涉及的数据量很大，不可能采取人工方式获取，只能通过自动化高频率扫描抓取特定链接指向的源目录中的数据库结构化数据才能实现。
因此，云智联公司要获取涉案数据必然是采用了通过自动化方式伪装为用户或网页，欺骗或破坏新浪微博服务器等其他不正当的技术手段。
第七，云智联公司如系使用网络爬虫抓取涉案数据亦违反了新浪微博Robots协议的限制。涉案数据所在栏目或页面的Robots协议打印件显示：//weibo.cn/robots.txt禁止所有网络爬虫抓取数据。
第八，云智联公司抓取涉案数据后的使用方式亦不正当。结合云智联公司自认其抓取涉案数据后进行了整理编辑之事实，云智联公司非法抓取涉案数据后的使用方式包括存储、整理，并在涉案app中推送和展示涉案数据。
涉案app多个版本系直接、完整地展示涉案数据，虽其中展示的涉案数据与新浪微博中的相关数据相比，存在个别表情符号、超链接等细微区别，但二者内容基本相同，已对新浪微博构成实质性替代。
对于涉案app部分版本通过设置预览并链接跳转至新浪微博的行为，则一方面导致微梦公司对新浪微博投入大量成本，不断改进、创新和新增功能以提高用户服务体验的竞争优势被破坏；另一方面新浪微博用户从打开新浪微博至找到相应涉案数据的过程中会出现报头、轮播、热门话题页等广告投放页面，而对这些广告的流量、点击均可为微梦公司带来广告收入，云智联公司设置链接的行为使得用户无需浏览广告即直接跳转至相应页面，亦导致微梦公司商业交易机会骤减。
因此，无论云智联公司在涉案app中是通过设置预览并链接或是直接完整展示来使用涉案数据，均不正当。
云智联公司行为造成微梦公司损害
结合如下七个方面，法院认为云智联公司被诉行为给微梦公司就涉案数据享有的权益造成了损害：
第一，根据《微博服务使用协议》《个人信息保护政策》以及民法权利义务对等的原则，微梦公司在对涉案数据享有权益的同时必然要负担维护数据运行，保护用户数据安全或支付相应对价等义务，而云智联公司被诉行为，必然会影响微梦公司与用户间协议关于数据处理和安全等条款的履行。
第二，对于云智联公司抓取的非公开数据，云智联公司仅能通过破坏或绕开前述微梦公司对该部分数据所采取的技术保护措施而实现。通常而言，当使用此种非正常甚至破坏性的技术手段抓取涉案数据时，必然会加重新浪微博服务器的运行压力甚至导致产生安全或其他技术隐患，从而增加微梦公司对此应予投入的运营维护成本。
第三，云智联公司抓取涉案数据并在涉案app中展示，使得涉案app用户无需注册、登录新浪微博帐号，或无需行为触发即可浏览新浪微博，显然改变了新浪微博的展示形式，破坏了微梦公司为该部分数据设定的访问和展示规则，并将进而影响微博平台这一产品的正常运行。
第四，涉案app的部分版本抓取涉案数据后在涉案app中进行直接、完整地展示，基于正常的阅读习惯，当用户在涉案app中浏览完相关内容后再回到新浪微博查阅相关内容的概率很低。因此，就该部分涉案数据而言，涉案app已对新浪微博构成实质性替代。
第五，云智联公司被诉行为使得相当部分的明星粉丝用户可以不注册、登录新浪微博即查看到明星微博帐号中的内容，既实际分流走了微梦公司的潜在用户流量，也影响了微梦公司通过新浪微博可以获得的广告、票务等商业收益，给微梦公司实际造成了损失。此外，微梦公司本可就涉案数据自行或与案外人开展合作，以丰富其产品功能，进行数据衍生品或其他业务的开发，而云智联公司被诉行为亦将影响微梦公司获得此种市场交易机会并取得相应收益。
第六，对于涉案数据中的公开部分，正常情况下，新浪微博用户可随时选择修改或删除相关数据，微梦公司基于其与用户之间的协议亦应维护用户处理其数据之权利；但云智联公司的抓取和展示涉案数据的行为会使这部分数据脱离用户自身和微梦公司的控制，减损其处理数据的权利。而对于涉案数据中的非公开部分，往往包含与用户个人隐私相关的信息或其不希望他人收集或查看的信息，云智联公司对其进行抓取和展示可能导致此类用户个人信息的泄露和被侵害，而这必然影响新浪微博数据安全进而破坏微梦公司所提供服务的正常运行，也可能侵害用户对其个人隐私等信息所享有的合法权益。
最后，云智联公司认可其使用涉案数据未获微梦公司或明星微博主体的同意，即微梦公司未向云智联公司开放该涉案数据，云智联公司被诉行为也无因用户对涉案数据进行了自主安排、授权等因素而存在免责等可能。
网络平台对他人抓取其公开数据有容忍义务
网络平台通过自身经营活动吸引用户所积累的平台数据对平台经营者具有重要意义，是其重要的经营资源；平台经营者能通过经营使用这些数据获得相应的合法权益。尤其是其中的非公开数据，因涉及平台商业策略的实现，数据安全的维护，以及用户隐私的保护等因素，平台经营者基于该部分数据所获得的经营利益显然系受法律保护的权益。
而对于平台中的公开数据，基于网络环境中数据的可集成、可交互之特点，平台经营者应当在一定程度上容忍他人合法收集或利用其平台中已公开的数据，否则将可能阻碍以公益研究或其他有益用途为目的的数据运用，有违互联网互联互通之精神。

无论是通过用户个人浏览或网络爬虫等技术手段获取数据，只要其遵守通用的技术规则，则其行为本质均相同，网络平台在无合理理由的情形下，不应对通过用户浏览和网络爬虫等自动化程序获取此类公开数据的行为进行区别性对待。
如果他人抓取网络平台中的公开数据之行为手段并非正当，则其抓取行为本身及后续使用行为亦难谓正当；如果他人抓取网络平台中的公开数据之行为手段系正当，则需要结合涉案数据数量是否足够多、规模是否足够大进而具有数据价值，以及被控侵权人后续使用行为是否造成对被抓取数据的平台的实质性替代等其他因素，对抓取公开数据的行为正当性做进一步判断。
裁判文书 ：①北京微梦创科网络技术有限公司与云智联网络科技（北京）有限公司不正当竞争纠纷案//mp.weixin.qq.com/s?__biz=MzA4MDYxMjczNA==&mid=2650033351&idx=1&sn=af3a46d552b893a8a6909521d966416b&chksm=87a170d6b0d6f9c0af693d59c632ca1c1849bd4aa88af9139ae4311dfed3d73bc7c6a7d4bcba&mpshare=1&scene=24&srcid=0819UePrHOKocdSWXdO4UmH8&sharer_sharetime=1597835358420&sharer_shareid=68ccd36f91f784fbe3623b4a842401fb#rd