馬斯克最新預告!Grok1.5增強版下周上线,Grok2 將超過當前的AI?
馬斯克的大模型Grok,即將推出最新進化版——Grok1.5。
而這距離Grok 1 开源僅僅才過去 10 天。
美東時間周五,馬斯克宣布,xAI公司最新的Grok-1.5將於下周在他的社交媒體平台X上推出。
他表示,Grok 2 應該在所有指標上都超過當前的 AI,現在正在訓練中。
此前一天,xAI宣布Grok-1.5將在未來幾天內提供給X上的早期測試人員和現有的Grok用戶。
據介紹,Grok-1.5 推理能力大升級,支持128k上下文長度。
其中最顯著的改進之一是推理性能大幅提升。它在編碼和數學相關任務中的能力全面超越Grok-1、Mistral Large、Claude2。
在測試中,Grok-1.5在數學基准上取得50.6%的得分,在GSM8K基准上獲得了90%,這兩個數學基准涵蓋了從小學到高中的各種競賽問題。
從數據來看,Grok-1.5在GSM8K上提升到90,MATH上上升到50.6%。
在評估代碼生成和解決問題能力的HumanEval基准測試中,Grok-1.5獲得了74.1%的高分,超過了Claude 2的70%、Claude 3 Sonnet的73%、Gemini Pro 1.5的71.9%以及GPT-4的67%。
Grok-1.5 的另一個新功能是,能夠在其上下文窗口內處理多達 128K token的長上下文。
這使得 Grok 的內存容量增加到以前上下文長度的 16 倍,使其能夠利用更長的文檔中的信息。
此外,新模型還可以處理更長、更復雜的提示,同時在其上下文窗口擴展時仍保持其指令跟隨能力。
在NIAH評估中,Grok-1.5 展示了強大的檢索能力,可檢索長度達 128K 字節的上下文中的嵌入文本,並取得了完美的檢索結果。
xAI 表示,Grok-1.5 構建在基於 JAX、Rust 和 Kubernetes 的自定義分布式訓練框架之上。該訓練堆棧允許开發團隊能夠以最小的精力,構建想法原型並大規模訓練新架構。
爲挑战OpenAI的ChatGPT,馬斯克於去年創立了xAI,並在去年底推出第一版聊天機器人Grok1。
本月早些時候,馬斯克在起訴OpenAIde 幾天後,
xAI 表示,开源版大模型Grok-1是一個擁有 3140 億個參數混合專家模型,遠超OpenAI GPT-3.5的1750億。
這也是,目前參數量最大的开源大語言模型。
值得一提的是,距離Grok-1开源不到半個月的時間,馬斯克又火速放出進化版Grok-1.5。
這搞大模型的速度,馬斯克也是出奇的快啊。
眼下,AI大模型競賽逐漸白熱化,大家夥兒眼看着都“殺紅了眼”。
標題:馬斯克最新預告!Grok1.5增強版下周上线,Grok2 將超過當前的AI?
地址:https://www.iknowplus.com/post/93764.html