关闭

搞明白ChatGPT到底颠覆了什么

发表于:2023-7-04 09:29

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:木羊    来源:知乎

  ChatGPT一出来,一堆搞NLP的立马哭了。为什么?不该问为什么哭,而该问为什么还不哭。
  有两个立马大哭的理由。
  第一个理由很多人说了,范式改变。
  虽然说没有哪个研究领域,甚至没有哪个领域敢说自己真的是天道酬勤绝对公平,但早年NLP这块总的来说还是有一些个人发挥聪明才智的地方。原因不太好意思说,因为NLP总体都不怎么样,所以聪明人就把NLP切成很多小块,有的小块里再切小块,只要你有足够的聪明和足够的运气,能搞一点奇技淫巧,没准就能魔改出来一套新算法,在哪个小块或者小小块里面出一点的成果,没准比大公司大团队还要好。
  不过,那是过去的范式,现在不行了。现在是什么范式?四个字,力大飞砖。
  我知道现在说到新范式,很多人喜欢说的是各种新概念,譬如什么提示学习、RLHF、指令对齐等等等等。不是不对,没有抓到变的本质。变的本质就是力大飞砖,个人那点小聪明小技巧根本不够看,在氪金玩家绝对实力的面前都是渣渣。
  机器学习搞了很多概念,但要搞清楚这里说的范式改变,只要记得三要素,叫算力、算法和数据。人称人工智能三要素。
  那新范式是什么呢?高算力+大数据+朴实无华的算法。
  为什么搞NLP的人看到ChatGPT要大哭?是感叹自己的见识短浅,不懂得也不可能懂得什么提示学习、RLHF、指令对齐吗?不是。自注意力模型难吗?刚出来的时候都说难得要命,现在人均手撸一遍。扩散模型难吗?刚出来的时候也都说难得要命,现在不也都会手推了。
  难的是算法吗?不是,是无论如何也搞不来满足条件的高算力和大数据。大部分的人这辈子连硬件门槛都跨不过去,再谈算法就已经毫无意义了。
  所以第二个理由就是两个字,垄断。
  现在谈到范式转变,如果首先谈的还是算法,那说明还没有透彻理解范式改变范式改变,首先要改的是什么。是什么?是参赛资格。
  过去我相信大企业大团队聚拢了许多聪明的脑袋,但我也相信不是所有的聪明的脑袋都聚在大企业大团队里面,有时候普通聪明的脑子再加上一点运气,没准也能在NLP里搞出一点什么东西来。
  现在你没大企业大团队那条件还能搞出来新的方法吗?还能的。去翻一翻用大模型搞出来的爆款论文,作者们非常谦虚,都说论文里的方法是别人,也早都发了论文了。那为什么自己还要做呢?因为人工智能是一个用结果说话的领域,原创最终的效果不怎么样,我重现了一遍,发现效果拔群,所以就又发出来了,名气比原创还大。
  那为什么别人不行而我的效果拔群呢?很简单,我花了点钱标了一个大大的高质量数据集,再用原来的方法搞了一个大大的模型,接着再花了点钱搞了一千块A100,每块大概十万人民币的样子,然后跑了俩月,最后效果就拔群了。没错,有钱就是这么朴实无华。
  可是,如果你是原创,你会作何感想呢?没有大企业大团队支持,你就没有了参赛资格,根本没法去想什么冲金夺银,哪怕你一百米真的只要跑九秒。
  有点像什么?有点像三体,智子已经锁死了人类科技。要知道,智子不是无所不能,没办法直接把人干掉或者把脑子封住,谁可以再去提一百个一千个理论和假设,但是,提的对不对呢?不知道,永远不知道,因为智子锁死了高能粒子实验。
  所以,为什么哭?
  因为,对于大多数研究者来说,NLP已经不存在了。
  最后我们还是要乐观一点,无论怎么说,现在掌握这颗智子的不是三体人,NLP的科技不会被锁死,顶多也就是被垄断。
  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号