尺有所短，寸有所長。

最近這段時間，大模型世界可以說是再度風起云涌，不斷有大模型升級和涌現(xiàn)，作為國內(nèi)最早推出通用大模型的公司，百度也推出了文心大模型 4.0。

百度創(chuàng)始人、董事長兼 CEO 李彥宏當場表示，文心 4.0 實現(xiàn)基礎模型的全面升級，在理解、生成、邏輯和記憶等能力上均有提升，「綜合水平與 GPT-4 相比已經(jīng)毫不遜色�！�

文心大模型 4.0 不是唯一一個對標 GPT-4 的大模型，中國有無數(shù)個大模型正在追趕 GPT-4，上周就有科大訊飛宣布星火大模型的下一次升級，就將全面對標 GPT-4。但話又說回來，文心大模型 4.0 真的能打了嗎？

終究還是得見真功夫。

眾所周知，百度在今年 3 月發(fā)布了國內(nèi)第一個大模型——文心大模型 3.5，并以此為基礎對話機器人文心一言，當時雷科技就做了上手體驗，評價是還有很大的優(yōu)化空間，但也有不少驚喜。

所以我們干脆先看看過去半年時間，文心 4.0 到底能有多少進步。

文心 3.5 的時候我們就問過如何評價《流浪地球 2》的問題，評價內(nèi)容水分較大，還提到了「星際戰(zhàn)斗場面」等錯誤信息，上映時間和演員信息上也出現(xiàn)了常見的錯誤。

公允地說，那個時候 ChatGPT 上也經(jīng)常遇到類似的問題，表現(xiàn)最好的可能還是聯(lián)網(wǎng)的 Bing Chat（GPT-4）。

到了文心 4.0 上，評價會相對更貼近實際內(nèi)容一些，盡管還是會出現(xiàn)探討「我們應該如何保護地球」這種「胡話」，但追問上映時間和演員陣容都能給出準確的信息。

此外，我們還問了一個常被用來「拷問」大模型的腦筋急轉(zhuǎn)彎，文心 3.5 的時候顯然還沒有理解人類：

但文心 4.0 不僅能從題目本身分析題意，還能將這個問題放到真實環(huán)境下進行推理：

此外，文心 4.0 還能準確明白近期的網(wǎng)絡熱梗和「中文十級難題」：

如果說前一個問題意味著文心 4.0 可以降維打擊所有「梗百科」產(chǎn)品，后一個問題則代表了文心 4.0 對中文的理解能力又上了一個新臺階，要知道，不少網(wǎng)友也是花了一段時間才真正看懂這個「幾等座」的問題。

更多的比較就不展示了，但顯然，文心 4.0 比起半年多前已經(jīng)聰明了不少，對中文的理解能力，聯(lián)網(wǎng)后對新信息的掌握以及邏輯推理能力都有明顯的提升。

但文心 4.0 還遠不止于此。

既然大家都認為 GPT-4 是目前最「聰明」的大模型，那我們自然也不能免俗拿 Bing Chat（GPT-4）和文心 4.0 進行對比，比如先來一個比較簡單的「請假理由」。

文心一言給出的回答比較泛用，一般而言確實比較好用。

Bing Chat 則給出了更多的理由，比如腹瀉、家里斷水和身體不適也比較實用。

當然，都到了「4.0」的階段，我們也嘗試提出一些比較高階且更具實際價值的挑戰(zhàn)。

第一個挑戰(zhàn)就是直接寫一份短視頻腳本，分別讓文心 4.0 和 Bing Chat 寫份關(guān)于廣州早餐的短視頻腳本。

Bing Chat 給出一份完成度相當不錯，同時兼具創(chuàng)意和廣州特色的腳本，稍微補充修改是真的可以采用。

文心 4.0 創(chuàng)作的腳本就比較空泛，甚至把廣州替換成任意一座城市都不會影響內(nèi)容，更遑論「廣州特色」了。但如果多給一些提示，比如指出廣州的早茶、腸粉這些元素，文心 4.0 會進一步完善腳本內(nèi)容，增加「廣州特色」的相關(guān)內(nèi)容。

但較真起來，顯然還是 Bing Chat 給出的腳本更具備實際價值，包括在畫面的細節(jié)描述上也更加豐富，更勝文心 4.0 一籌。

第二個挑戰(zhàn)則是創(chuàng)建網(wǎng)站教程，我們以比較簡單的樹洞網(wǎng)站為例，請教文心 4.0 和 Bing Chat。

但 Bing Chat 第一步就歇菜了，只是給出了一個樹洞網(wǎng)站及其功能的介紹，進一步追問也只能「理解萬歲」，表示「我不能提供全部的代碼，因為這超出了我的能力范圍。」

相比之下，當我們要求文心 4.0 給出創(chuàng)建一個樹洞網(wǎng)站需要的全部代碼，可以看到它列出創(chuàng)建一個基本的樹洞網(wǎng)站需要的 HTML、CSS 和 JavaScript 代碼：

接下來進一步請教如何在百度云上部署這些代碼，它也會先提供一些大概的步驟，比如注冊百度云賬號、創(chuàng)建實例、連接云服務器、上傳代碼等操作：

同時每一步還要繼續(xù)展開，比如連接云服務器的步驟：

誠然，現(xiàn)在大模型距離「用嘴」搭建網(wǎng)站、開發(fā) APP 還有很遠的距離，但文心 4.0 確實展示了一些改變開發(fā)生態(tài)的能力，未來如果能夠與百度云打通，用文心一言貫穿整個流程，未必不能實現(xiàn)人人都可開發(fā)的未來。

不過大模型改變的不僅是內(nèi)容創(chuàng)作和代碼開發(fā)，還有翻譯。先簡單來一段英譯中：

左：Bing Chat，右：文心 4.0

兩者的差別不是很大，只有在細節(jié)處理上有些微區(qū)別，但如果換成文言文風格呢？

下：Bing Chat，上：文心 4.0

相比 Bing Chat，文心 4.0 的翻譯更加準確，沒有為了更精簡的文辭而略去了一些關(guān)鍵信息，就比如開頭第一句的「1985 年」。

如果我們在進一步，要求它們將李白的《俠客行》翻譯成英文：

只能說，現(xiàn)如今的大模型還做不太到位。

另外，借助插件系統(tǒng)文心 4.0 還能做到 GPT-4 無法實現(xiàn)的一些功能，比如一鏡流影，即通過文字直接生成視頻內(nèi)容。需要解釋的是，這并非直接地文字生成視頻，而是通過 AI 生成文案、配音，再搭配實際拍攝畫面，最后再自動剪輯導出。

目前來看，這個功能還是有很多欠缺之處，生成視頻的質(zhì)量比較一般，又不能導入實際的制作流程，更多可能還是充當創(chuàng)意發(fā)散和嘗鮮的價值。

盡管如此，文心 4.0 的表現(xiàn)已經(jīng)足夠讓我眼前一亮了，不僅在中文語義理解又有了一定的提升，在邏輯推理、知識問答方面也更多避免了大模型「幻覺」的出現(xiàn)。可以說，文心 4.0 在綜合能力上確實與 GPT-4 不分上下。

題圖來自百度

來源：雷科技

       原文標題 : 實際上手文心一言4.0，真的媲美GPT-4了？