LLM路线一定是正确的吗?scaling law终有尽头
最近看了硅谷101专访meta前FAIR研究总监田渊栋的视频,这访谈让我能够以一线研究专家的视角,来看当前AI或者LLM(大语言模型)的发展。访谈内容专业、且不带任何目的性和偏向性,让我对AI有新的思考。
看完之后,我总结了几点感悟:
- 未来做基础研究得越来越少,做应用越来越多。
- LLM路线不一定正确,scaling law终有尽头。
- 技术与商业平衡,学术与工程鸿沟。
- 选择喜欢和未来有市场价值的工作
最近看了硅谷101专访meta前FAIR研究总监田渊栋的视频,这访谈让我能够以一线研究专家的视角,来看当前AI或者LLM(大语言模型)的发展。访谈内容专业、且不带任何目的性和偏向性,让我对AI有新的思考。
看完之后,我总结了几点感悟:
当人世间的七情六欲满足之后,会陷入虚无主义边缘。同样,那些经历过人生大悲大喜、跌宕起伏,尝尽巅峰与低谷,最终又归于原点的人,也常会陷入这种哲学困境。虚无主义,一个三维生物难以触及的边界。然而,一旦穿越这片虚无的迷雾,个体往往能达成一种内在的自洽,活得更为通透,正如俗语所说,真正做到了“知天命”。
今年的我,依旧选择了“不打工”模式,但令人欣喜的是,个人资产竟然实现了净增长。
那么,这份收益从何而来?它并非源于我擅长的技术领域。今年尝试的两个新项目,结果都不尽如人意,未能带来预期的突破。真正发挥作用的,反而是“钱生钱”的投资逻辑。
室友也被裁员了,我准备搬家。期待我的新家,虽然还不知下一个小窝在何方。
期待自己的被动收入能早日覆盖生活成本,也期待每一天的基金收益,无论涨跌,都是一种见证。
看完几个关于AI文章“AI is killing the web. Can anything save it?”、“Stack overflow is almost dead”、“Google’s AI search features are killing traffic to publishers”,以及Reddit上的热门讨论“Do you believe we’re in an AI bubble?”,让我深入的思考AI和web的关系,以及未来的发展。
以前查资料、解决开发问题都去搜索引擎或Stack Overflow找答案,而现在我都会先问AI/LLM,如果没有得到满意答案再去搜索引擎。搜索引擎需要自己研究出答案。而AI/LLM会直接根据你的情况(上下文)给你回答,看起来你就在咨询一个看起来很有经验、很绅士的人,可以快速的得到答案,节约很多筛选过滤查找时间。但是它的答案不一定对(可能会有幻觉),这个时候还是要依靠搜索引擎,如果搜索引擎都没有满意的答案,那只能自己想答案了,或者咨询有经验的人。
AI/LLM出现后,大家都用它来代替知识性搜索。AI/LLM抢占了搜索引擎和Web的流量,成为新的流量入口。与手机APP、社交媒体一起抢占Web流量,现在Web本不富裕的流量雪上加霜,AI正在杀死Web,Web走向灭亡只是时间问题。
最近Chrome 138正式release了,之前写过《如何在Chrome上强制安装世界最强广告屏蔽插件uBlock Origin》,所以又研究了一下让Chrome继续支持manifest v2方法。Chrome 138是最后能够支持manifest v2的版本,从139版本开始默认禁用manifest v2,但是139、140版本还是有办法让chrome继续支持manifest v2。
曾几何时,我也是个“闭眼消费”的人。在盒马随手买些高级食材,毫不犹豫地出钱送父母去旅游。刚刚翻了翻京东的账单,数字的变化触目惊心:
用了五年的手机有些不堪重负,想着今年618是不是该换了。但在“换手机”这个念头面前,我犹豫了好几天。我反复问自己:换了能提升生产力吗?能改善生活品质吗?不换会影响日常使用吗?三个答案都是否定的。然而,24期免息和高额补贴的诱惑实在太大,我一度动摇,下了单。但当快递送到门口时,理性最终战胜了冲动,我选择了拒收。