浪潮信息發(fā)布“源 2.0”基礎(chǔ)大模型，千开yun体育官网億參數(shù)代碼開源
2023-12-09 14:00:19
2023-12-09 14:00:19
感謝IT之家網(wǎng)友 航空先生 的線索投遞！
IT之家 11 月 27 日消息，浪潮信息今日發(fā)布了“源 2.0”基礎(chǔ)大模型，并宣布全面開源。源 2.0 基礎(chǔ)大模型包括 1026 億、518 億、21 億等三種參數(shù)規(guī)模的模型。
據(jù)介紹，源 2.0 通過使用中英文書籍、百科、論文等高質(zhì)量中英文資料，降低了互聯(lián)網(wǎng)語料內(nèi)容占比。為了獲取中文數(shù)學(xué)數(shù)據(jù)，浪潮信息清洗了從 2018 年至今約 10PB 的互聯(lián)網(wǎng)开yun体育官网數(shù)據(jù)，但僅獲取到了約 10GB 的數(shù)學(xué)數(shù)據(jù)。
為了更高效地獲得相對匱乏的高質(zhì)量中文數(shù)學(xué)及代碼數(shù)據(jù)集，源 2.0 采用了基于大模型的數(shù)據(jù)生產(chǎn)及過濾方法，在保證數(shù)據(jù)的多樣性的同時也在每一個類別上提升數(shù)據(jù)質(zhì)量。
算力方面，源 2.0 采用了非均勻流水并行的方法，綜合運用流水線并行 + 優(yōu)化器參數(shù)并行 + 數(shù)據(jù)并行的策略，讓模型在流水并行各階段的顯存占用量分布更均衡，避免出現(xiàn)顯存瓶頸導(dǎo)致的訓(xùn)練效率降低的問題。
源 2.0 在評測上進行了代碼生成、數(shù)學(xué)問題求解、事實問答方面的能力測試，測試結(jié)果顯示，源 2.0 整體表現(xiàn)處于中上水平。
源 2.0 采用全面開源策略，全系列模型參數(shù)和代碼均可免費下載使用。IT之家附 GitHub 頁面和論文鏈接：
上一篇： 小米米家 518L 十字超薄冰箱上架：標價 4599 元，11 月开yun体育官网 29 日發(fā)布
相關(guān)新聞
-
訂閱（月費 16 美元）用戶新开yun体育官网權(quán)益，X
2023-11-22 -
Amp WiiM 音頻接收器公布：支持蘋果
2023-12-03
-
AI 挖掘機开yun体育官网解鎖新技能：實現(xiàn)無人操作自
2023-11-29
-
开yun体育官网推出綠色石化業(yè)最新技術(shù)，助力可持續(xù)發(fā)展
2024-06-13
-
因“意外忙碌”，消息稱 OpenAI 推遲至
2023-12-19
