实测文心一言,马保国很满意

轻客之家 2023-03-18 骐邦 74104

  在全世界人民都仍处于GPT-4的震惊中时,百度终于发布了自己的同类产品――文心一言。蓝鲸财经记者在第一时间拿到了内测名额,为大家实测这款新一代大语言模型、生成式AI产品文心一言。

  由于是精通中文语境,所以我们首先拿前不久一道给chat GPT做过的题给它做:

  

  

  显然,文心一言准确地识别了问题中的人物,并且精准回答了其中暗藏的“玄机”。

  但这种喜悦似乎并没有持续多久,当我希望文心一言为我推荐一些礼物备选时,它的回答真的是靠谱中夹杂着各种不靠谱。

  

  请问哪里可以用500块买到iPhone 13 Pro Max手机,我出双倍买!

  文心一言像一个听话的工具,让干啥干啥,但似乎缺乏一些判断力,比如我让它帮我撰写一段诺贝尔数学奖的领奖词,这也是写得头头是道,完全没考虑到这奖项根本不存在……

  

  可见文心一言虽然有基础的文案撰写能力,但是对于问题并没有基础的纠错能力,同时文案本身也缺乏创意,基本是一些片儿汤话。

  在见识过水平能上哈佛的GPT-4后,大家对文心一言不太满意在所难免。因此也有博主将其比作AI界的马保国。

  

  但是如果你把这个结论告诉文心一言,它可能会很开心,因为它对马保国的评价很高!

  

  或许文心一言和你对于马保国武术水平的评价并不一致,但是并不能因此否定它作为一款大语言模型、生成式AI产品的能力。

  比如我们体验了它的AI绘画功能,虽然某些细节有出入,但是基本要素是具备的:

  

  

  在chat GPT横空出世之后,不少人都产生了“AI焦虑”担心自己的工作被AI取代,那文心一言会取代我们的工作吗?

  身先士卒,我请文心一言帮助处理了一些工作中的常见数据收集与整理问题:

  

  但仔细校对会发现根据国家电影局数据,2021年春节档电影票房达78.22亿元,这个数据并不准确,除此之外,“近五年”的指令似乎也没有很好的执行,中间有不少遗漏。看来如果把这类工作都交给文心一言,还是很有风险的。

  听说编剧也是有可能被AI取代的高危职业,于是我邀请文心一言续写了今年大热的电影《流浪地球2》,希望能为李彦宏的阳泉老乡刘慈欣省点心:

  

  

  结果发现,大刘还是得接着写……文心一言这水平连投资都骗不到。

  文心一言对于信息的覆盖面和掌握程度无需多言,并且在分析的时候很有逻辑:

  

  比如最近爆红的《乌梅子酱》它也能点评一二,并且像模像样:

  

  但从整个回答也能看得出,文心一言呈现的内容比较片面,缺乏更全面的观点,与此同时缺乏更加深刻的点评,换句话说,如果把回答中的李荣浩换成周杰伦应该也是完全可以的,虽然周杰伦的粉丝可能不同意……

  虽然截至目前,文心一言的表现都显得比较AI,没有人情味,但是我发现它有些时候还是会展示一些“人性特质”的,比如面对感情问题,它也会表现得像个“情感导师”

  

  面对深刻的爱与死亡话题也能给出这样的回答:

  

  

  比如下面这种情况:

  

  

  截至目前,我们对于文心一言的体验暂告一段落。

  虽然这场万众瞩目的发布会被各界唱衰,甚至百度的股价都应声下跌,但真正体验过之后发现,作为近期国内首款大模型,文心一言从回答速度到对话效果整体不错,虽然这其中有很多令人啼笑皆非的bug。但敢于发布文心一言,敢于发布大模型放在公众舆论之下,本身就需要勇气。

  就像李彦宏自己也在会上说的:“这类大语言模型还远未到发展完善的阶段,进步空间很大,未来这段时间它一定会飞速发展,日新月异”,openAI也是在不断自我迭代过程中成长为“大魔王”的,文心一言刚刚迈出自己的第一步。