艾倫人工智能研究所等 5 機構最近公布了史上最全的開源模型「OLMo」，公開了模型的模型權重、完整訓練代碼、數據集和訓練過程，為以后開源社區的工作設立了新的標桿。

多年來，語言模型一直是自然語言處理（NLP）技術的核心，考慮到模型背后的巨大商業價值，最大最先進的模型的技術細節都是不公開的。

現在，真?完全開源的大模型來了！

來自艾倫人工智能研究所、華盛頓大學、耶魯大學、紐約大學和卡內基梅隆大學的研究人員，聯合發表了一項足以載入 AI 開源社區史冊的工作 ——

他們幾乎將從零開始訓練一個大模型過程中的一切數據和資料都開源了！

具體來說，艾倫人工智能研究所推出的這個開放大語言模型（Open Language Model，OLMo）實驗和訓練平臺，則提供了一個完全開源的大模型，以及所有和訓練開發這個模型有關的數據和技術細節 ——

訓練和建模：它包括完整的模型權重、訓練代碼、訓練日志、消融研究、訓練指標和推理代碼。

預訓練語料：一個包含了高達 3T token 的預訓練開源語料庫，以及產生這些訓練數據的代碼。

模型參數：OLMo 框架提供了四個不同架構、優化器和訓練硬件體系下的 7B 大小的模型，以及一個 1B 大小的模型，所有模型都在至少 2T token 上進行了訓練。

同時，也提供了用于模型推理的代碼、訓練過程的各項指標以及訓練日志。

評估工具：公開了開發過程中的評估工具套件，包括每個模型訓練過程中每 1000 step 中包含的超過 500 個的檢查點以及評估代碼。

所有數據都在 apache 2.0 下授權使用（免費商用）。

如此徹底的開源，似乎是給開源社區打了個樣 —— 以后不像我這樣開源的，就別說自己是開源模型了。

性能評估

從核心的評估結果來看，OLMo-7B 與同類開源模型相比略勝一籌。在前 9 項評測中，OLMo-7B 有 8 項排名前三，其中有 2 項超越了其他所有模型。

在很多生成任務或閱讀理解任務（例如 truthfulQA）上，OLMo-7B 都超過了 Llama 2，但在一些熱門的問答任務（如 MMLU 或 Big-bench Hard）上表現則要差一些。

前 9 個任務是研究人員對預訓練模型的內部評估標準，而下面三個任務則是為了完善 HuggingFace Open LLM 排行榜而加入的

下圖展示了 9 個核心任務準確率的變化趨勢。除了 OBQA 外，隨著 OLMo-7B 接受更多數據的訓練，幾乎所有任務的準確率都呈現上升趨勢。

與此同時，OLMo 1B 與其同類模型的核心評估結果表明，OLMo 與它們處于同一水平。

通過使用艾倫 AI 研究所的 Paloma（一個基準測試）和可獲取的檢查點，研究人員分析了模型預測語言能力與模型規模因素（例如訓練的 token 數量）之間的關系。

可以看到，OLMo-7B 在性能上與主流模型持平。其中，每字節比特數（Bits per Byte）越低越好。

通過這些分析，研究人員發現模型在處理不同數據源時的效率差異較大，這主要取決于模型訓練數據與評估數據的相似度。

特別地，OLMo-7B 在主要基于 Common Crawl 的數據源上表現出色（比如 C4）。

不過，在與網絡抓取文本關系不大的數據源上，如 WikiText-103、M2D2 S2ORC 和 M2D2 Wikipedia，OLMo-7B 與其他模型相比效率較低。

RedPajama 的評估也體現了相似的趨勢，可能是因為它的 7 個領域中只有 2 個來源于 Common Crawl，且 Paloma 對每個數據源中的各個領域給予了相同的權重。

鑒于像 Wikipedia 和 arXiv 論文這樣的精選數據源提供的異質數據遠不如網絡抓取文本豐富，隨著預訓練數據集的不斷擴大，維持對這些語言分布的高效率會很更加困難。

OLMo 架構

在模型的架構方面，團隊基于的是 decoder-only 的 Transformer 架構，并采用了 PaLM 和 Llama 使用的 SwiGLU 激活函數，引入了旋轉位置嵌入技術（RoPE），并改進了 GPT-NeoX-20B 的基于字節對編碼（BPE）的分詞器，以減少模型輸出中的個人可識別信息。

此外，為了保證模型的穩定性，研究人員沒有使用偏置項（這一點與 PaLM 的處理方式相同）。

預訓練數據集：Dolma

雖然研究人員在獲取模型參數方面取得了一定的進展，但開源社區目前預訓練數據集的開放程度還遠遠不夠。

之前的預訓練數據往往不會隨著模型的開源而公開（閉源模型就更不用說了）。

而且有關這些數據的說明文檔也常常缺乏足夠的細節，但是這些細節對于想要復現研究或完全理解相關工作至關重要。

這一情況加大了語言模型研究的難度 —— 比如，了解訓練數據如何影響模型能力和其局限性。

為了推動語言模型預訓練領域的開放研究，研究人員構建并公開了預訓練數據集 Dolma。

這是一個包含了從 7 種不同數據來源獲取的 3 萬億個 token 的多樣化、多源語料庫。

這些數據源一方面在大規模語言模型預訓練中常見，另一方面也能被普通大眾所接觸。

Dolma 的構建過程包括六個步驟：語言過濾、質量過濾、內容過濾、去重、多源混合和 token 化。

在整理和最終發布 Dolma 過程中，研究人員確保各數據源的文檔保持獨立。

他們還開源了一套高效的數據整理工具，這套工具能夠幫助進一步研究 Dolma、復制成果，并簡化預訓練語料庫的整理工作。

此外，研究人員也開源了 WIMBD 工具，以助于數據集分析。

訓練 OLMo

分布式訓練框架

研究人員利用 PyTorch 的 FSDP 框架和 ZeRO 優化器策略來訓練模型。這種方法通過將模型的權重和它們對應的優化器狀態在多個 GPU 中進行分割，從而有效減少了內存的使用量。

在處理高達 7B 規模的模型時，這項技術使研究人員能夠在每個 GPU 上處理 4096 個 token 的微批大小，以實現更高效的訓練。

對于 OLMo-1B 和 7B 模型，研究人員固定使用大約 4M token（2048 個數據實例，每個實例包含 2048 個 token 的序列）的全局批大小。

而對于目前正在訓練中的 OLMo-65B 模型，研究人員采用了一個批大小預熱策略，起始于大約 2M token（1024 個數據實例），之后每增加 100B token，批大小翻倍，直至最終達到大約 16M token（8192 個數據實例）的規模。

為了加快模型訓練的速度，研究人員采用了混合精度訓練的技術，這一技術是通過 FSDP 的內部配置和 PyTorch 的 amp 模塊來實現的。

這種方法特別設計，以確保一些關鍵的計算步驟（例如 softmax 函數）始終以最高精度執行，以保證訓練過程的穩定性。

與此同時，其他大部分計算則使用一種稱為 bfloat16 的半精度格式，以減少內存使用并提高計算效率。

在特定配置中，每個 GPU 上的模型權重和優化器狀態都以最高精度保存。

只有在執行模型的前向傳播和反向傳播，即計算模型的輸出和更新權重時，每個 Transformer 模塊內的權重才會臨時轉換為 bfloat16 格式。

此外，各個 GPU 間同步梯度更新時，也會以最高精度進行，以確保訓練質量。

優化器

研究人員采用了 AdamW 優化器來調整模型參數。

無論模型規模大小如何，研究人員都會在訓練初期的 5000 步（大約處理 21B 個 token）內逐漸增加學習率，這一過程稱為學習率預熱。

預熱結束后，學習率將按線性規律逐漸減少，直到降至最高學習率的十分之一。

此外，研究人員還會對模型參數的梯度進行裁剪，確保其總的 L1 范數不會超過 1.0。

數據集

研究人員利用開放數據集 Dolma 中的一個 2T token 的樣本，構建了他們的訓練數據集。

研究人員將每篇文檔的 token 連接起來，每篇文檔的末尾都會加上一個特殊的 EOS token，接著將這些 token 分成每組 2048 個，形成訓練樣本。

這些訓練樣本在每次訓練時都會以同樣的方式進行隨機打亂。研究人員還提供了一些工具，使得任何人都可以復原每個訓練批次的具體數據順序和組成。

研究人員已經發布的所有模型至少都經過了一輪（2T token）的訓練。其中一些模型還進行了額外的訓練，即在數據上進行第二輪訓練，但采用了不同的隨機打亂順序。

根據之前的研究，這樣重復使用少量數據的影響是微乎其微的。

英偉達和 AMD 都要 YES！

為了確保代碼庫能夠同時在英偉達和 AMD 的 GPU 上都能高效運行，研究人員選擇了兩個不同的集群進行了模型訓練測試：

利用 LUMI 超級計算機，研究人員部署了最多 256 個節點，每個節點搭載了 4 張 AMD MI250X GPU，每張 GPU 擁有 128GB 內存和 800Gbps 的數據傳輸速率。

通過 MosaicML (Databricks) 的支持，研究人員使用了 27 個節點，每個節點配備了 8 張英偉達 A100 GPU，每張 GPU 擁有 40GB 內存和 800Gbps 的數據傳輸速率。

雖然研究人員為了提高訓練效率對批大小進行了微調，但在完成 2T token 的評估后，兩個集群的性能幾乎沒有差異。

總結

與以往大多數僅僅提供模型權重和推理代碼的模型不同，研究人員開源了 OLMo 的全部內容，包括訓練數據、訓練和評估代碼，以及訓練日志、實驗結果、重要發現以及 Weights & Biases 的記錄等等。

此外，團隊正在研究如何通過指令優化和不同類型的強化學習（RLHF）來改進 OLMo。而這些微調代碼、數據和經過微調后的模型也都會被開源。

研究人員致力于持續支持和發展 OLMo 及其框架，推動開放語言模型（LM）的發展，助力開放研究社區的發展。為此，研究人員計劃引入更多不同規模的模型、多種模態、數據集、安全措施和評估方法，豐富 OLMo 家族。

他們希望通過今后持續進行的徹底開源工作，增強開源研究社區的力量，并引發新一輪的創新浪潮。