馬斯克的大模型Grok,即將推出最新進化版——Grok1.5

而這距離Grok 1 开源僅僅才過去 10 天。

美東時間周五,馬斯克宣布,xAI公司最新的Grok-1.5將於下周在他的社交媒體平台X上推出。

他表示,Grok 2 應該在所有指標上都超過當前的 AI,現在正在訓練中。

此前一天,xAI宣布Grok-1.5將在未來幾天內提供給X上的早期測試人員和現有的Grok用戶。

據介紹,Grok-1.5 推理能力大升級,支持128k上下文長度。

其中最顯著的改進之一是推理性能大幅提升它在編碼和數學相關任務中的能力全面超越Grok-1、Mistral Large、Claude2。

在測試中,Grok-1.5在數學基准上取得50.6%的得分,在GSM8K基准上獲得了90%,這兩個數學基准涵蓋了從小學到高中的各種競賽問題。

從數據來看,Grok-1.5在GSM8K上提升到90,MATH上上升到50.6%。

在評估代碼生成和解決問題能力的HumanEval基准測試中,Grok-1.5獲得了74.1%的高分,超過了Claude 2的70%、Claude 3 Sonnet的73%、Gemini Pro 1.5的71.9%以及GPT-4的67%。

Grok-1.5 的另一個新功能是,能夠在其上下文窗口內處理多達 128K token的長上下文。

這使得 Grok 的內存容量增加到以前上下文長度的 16 倍,使其能夠利用更長的文檔中的信息。

此外,新模型還可以處理更長、更復雜的提示,同時在其上下文窗口擴展時仍保持其指令跟隨能力。

在NIAH評估中,Grok-1.5 展示了強大的檢索能力,可檢索長度達 128K 字節的上下文中的嵌入文本,並取得了完美的檢索結果。

xAI 表示,Grok-1.5 構建在基於 JAX、Rust 和 Kubernetes 的自定義分布式訓練框架之上。該訓練堆棧允許开發團隊能夠以最小的精力,構建想法原型並大規模訓練新架構。

爲挑战OpenAI的ChatGPT,馬斯克於去年創立了xAI,並在去年底推出第一版聊天機器人Grok1。

本月早些時候,馬斯克在起訴OpenAIde 幾天後,

 xAI 表示,开源版大模型Grok-1是一個擁有 3140 億個參數混合專家模型,遠超OpenAI GPT-3.5的1750億。

這也是,目前參數量最大的开源大語言模型。

值得一提的是,距離Grok-1开源不到半個月的時間,馬斯克又火速放出進化版Grok-1.5。

這搞大模型的速度,馬斯克也是出奇的快啊。

眼下,AI大模型競賽逐漸白熱化,大家夥兒眼看着都“殺紅了眼”。



標題:馬斯克最新預告!Grok1.5增強版下周上线,Grok2 將超過當前的AI?

地址:https://www.iknowplus.com/post/93764.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。