AI正在杀死Web

看完几个关于AI文章“AI is killing the web. Can anything save it?”、“Stack overflow is almost dead”、“Google’s AI search features are killing traffic to publishers”,以及Reddit上的热门讨论“Do you believe we’re in an AI bubble?”,让我深入的思考AI和web的关系,以及未来的发展。
以前查资料、解决开发问题都去搜索引擎或Stack Overflow找答案,而现在我都会先问AI/LLM,如果没有得到满意答案再去搜索引擎。搜索引擎需要自己研究出答案。而AI/LLM会直接根据你的情况(上下文)给你回答,看起来你就在咨询一个看起来很有经验、很绅士的人,可以快速的得到答案,节约很多筛选过滤查找时间。但是它的答案不一定对(可能会有幻觉),这个时候还是要依靠搜索引擎,如果搜索引擎都没有满意的答案,那只能自己想答案了,或者咨询有经验的人。
AI/LLM出现后,大家都用它来代替知识性搜索。AI/LLM抢占了搜索引擎和Web的流量,成为新的流量入口。与手机APP、社交媒体一起抢占Web流量,现在Web本不富裕的流量雪上加霜,AI正在杀死Web,Web走向灭亡只是时间问题。
根据Similarweb的数据,从2024年6月开始到2025年6月,全球搜索引擎流量的流量下降15%,其中健康类的网站下降最多最多达到31%。受影响最深的是那些构成互联网知识基石的内容网站——信息资讯类(新闻媒体)、知识类(博客、问答网站,论坛)。而那些本身就是封闭生态的应用(如视频、社交媒体、SaaS)则受影响较小,这可能导致互联网的知识公共领域进一步萎缩。
Stack Overflow的Asked Question数量在AI/LLM出现后持续下降,2025年5月1号的数量跟2009年1月1号(Stack Overflow刚创立的时候)持平。
我的博客从2024年2月9号就遭到Chatgpt大量的爬取,从那之后,我的博客从Google获得的流量下降了50%。
Google搜索为了减少AI影响,自己也推出个AI功能(AI Mode和AI overview功能),Bing也推出类似功能。虽然这个功能会在AI输出的结果里添加来源网站的链接,当AI提供了足够好的答案后,用户点击链接的意愿大幅降低。现实数据表明,这种引流效果微乎其微(有56%到69%的搜索,不会继续点击搜索结果),这也是导致Web流量下降原因之一。
AI公司爬取Web网站内容,用来训练模型或提供Deep Search服务。而这个过程中Web网站并没有获得有机流量,没有有机流量就等于没有收益(其中大部分网站都是靠广告盈利),没有收益终将导致Web网站倒闭,而在AI爬完最后能爬的网站时候,它就会饿死内容的荒漠中。恶性循环,涸泽而渔。这就像细菌或病毒以宿主为生,却会杀死宿主,最终自己也会灭亡。
如何合作共赢,构建新的生态,这个是AI和Web公司要思考的问题。目前OpenAI已经获得一些大型新闻公司的内容授权, 这说明行业已经在探索解决方案。然而,这些合作目前主要集中在大型媒体集团,广大中小型Web站、内容创作者的利益如何保障,仍然是一个等待解决的问题。
作为内容提供方,可以屏蔽AI爬虫,或让AI公司付费使用内容。但我更希望AI公司能够分享利益给web网站,达到互利共赢关系,双方都能得到长远的发展。同时保障中小网站的利益,保障创作者、内容生产者的权益,这都需要依赖行业规范、法律法规的制定。
我个人博客网站,没有广告、不盈利,主要出发点是broadcast我自己、扩大自己的影响力。对我来说虽然流量在减少,但影响不是很大。因为大部分搜索引擎的AI搜索、AI/LLM都提供了来源链接。
RSS订阅功能,虽然订阅者不直接访问网站,但还是阅读的是我原滋原味的文章,而且有文章的来源。而AI/LLM对我的内容进行加工进行二次创作、甚至没有标明引用的出处。
搬运、拷贝且不著名出处、利用AI进行洗稿再创作、AI/LLM抓取内容进行训练却未给创作者带来收益,这些是对创作者的极大伤害。
AI在高速发展,大家都在关注讨论AI能够实现什么、影响什么,很少有人关注背后存在的问题。在抬头看AI发展时候,也应该看到在其发展背后存在的这些问题,还有过度夸大、过度炒作。
如果任由当前的寄生关系发展下去,Web可能会迎来一个内容荒漠化的未来,最终AI自身也将因‘营养不良’而停滞。构建一个尊重原创、回馈创作者的共生生态,不仅是为了拯救Web,也是为了AI自身能够拥有一个可持续的未来。毕竟,如果没有持续产生新知识、新思想的创作者,AI的智能终将成为无源之水、无本之木。
1 Reference
https://www.economist.com/business/2025/07/14/ai-is-killing-the-web-can-anything-save-it
https://blog.pragmaticengineer.com/stack-overflow-is-almost-dead/
https://newsletter.pragmaticengineer.com/p/the-pulse-134?ref=blog.pragmaticengineer.com
https://gist.github.com/hopeseekr/f522e380e35745bd5bdc3269a9f0b132
https://data.stackexchange.com/stackoverflow/query/1882532/questions-per-month
https://www.perplexity.ai/page/stack-overflow-contends-with-c-laU0ScwUQoqiaAUyqJIq4w