“言出必行”馬斯克，全球最大开源模型Grok真的來了

剛剛开源的 Grok，一舉拿下迄今爲止“全球最大开源模型”稱號。

馬斯克又搞了個全球第一。

Grok开源

美東時間3月17日， xAI 正式宣布开源大模型Grok-1的權重和網絡架構。

 xAI 表示，开源版大模型Grok-1是一個由 xAI 從頭开始​​訓練的 3140 億個參數混合專家模型。

據介紹，基礎模型基於大量文本數據進行訓練，沒有針對任何具體任務進行微調；3140 億參數的 MoE 模型，在給定 token 上的激活權重爲 25%；2023 年 10 月，xAI 使用 JAX 庫和 Rust 語言組成的自定義訓練堆棧從頭开始訓練。

目前，Grok-1是參數量最大的开源大語言模型。

擁有 3140 億個參數的Grok ，遠遠領先於Meta 的 Llama 2（700 億個參數）和Mistral 8x7B（120 億個參數）等开源競爭對手。

去年，馬斯克加入AI競賽“混战”，在火速成立了大模型公司 xAI 之後，Grok隨後橫空出世，勢與OpenAI一較高低。

彼時， xAI 介紹稱Grok是以《銀河系漫遊指南》爲藍本的人工智能，它幾乎可以回答任何問題，幫助人類尋求理解和知識——無論背景或政治觀點如何。

起初， xAI 發布了一個 LLM 原型 Grok-0，擁有 330 億個參數，然後又發布了 Grok-1，並經歷了多次迭代。

在 xAI的 GSM8K、HumanEval 和 MMLU 等基准測試中，Grok-1 擊敗了 Llama-2-70B 和 GPT-3.5，但仍然落後於 GPT-4。

但此前，Grok只能 通過 X Premium+ 付費訂閱服務上訪問，服務費用每月16美元或每年168美元。

對打OpenAI？

一直以來，和OpenAI槓上的馬斯克在圍繞“开源”的問題上爭論不休。

，指責其放棄了“創始協議”；但 OpenAI則指出馬斯克是在捏造事實，目的是爲了“促進他自己的商業利益”。

在开源和非盈利的問題上，雙方吵的不可开交。馬斯克眼看着“殺紅了眼”，隨即便宣布了要开源 Grok 大模型，並宣稱“OpenAI 是一個謊言。”

Grok 在宣布开源之後，ChatGPT 账戶評論說，“偷了我的整個笑話”。

馬斯克則不忘嘲諷一番OpenAI 表示：我們想了解更多 OpenAI 的开放部分。

現在，xAI 遵守 Apache 2.0 許可證來开源 Grok-1 的權重和架構。Apache 2.0 許可證允許用戶自由地使用、修改和分發軟件，無論是個人還是商業用途。

截至目前，Grok 已經在 GitHub 上獲得了 4.3k 顆 Star。

英偉達高級科學家Jim Fan表示，（這是）有史以來最大的开源大模型，由世界一流的團隊訓練。

“我想知道被 Grok 超越是什么感覺。”“314B、混合專家 (2 / 8 有效)。即使僅活動參數 (86B) 就超過了最大的 Llama。迫不及待地想看到基准測試結果以及人們用它構建的東西。”

標題：“言出必行”馬斯克，全球最大开源模型Grok真的來了

地址：https://www.iknowplus.com/post/90925.html