Meta公司宣布了一項重大技術進展，發(fā)布了其最新的開源模型——Llama3。這一模型包含兩種參數(shù)規(guī)模:8B（80億參數(shù)）和70B(700億參數(shù))，預計將于今年7月正式面世。Llama3模型不僅具備多模態(tài)能力，還集成了新的計算機編碼功能，能夠輸出文本和圖像，預示著其未來將被應用于雷朋 Meta 智能眼鏡等設備。

Meta公司與谷歌建立了合作伙伴關系，將實時搜索結果整合到 AI 助手的答復中，進一步提升了用戶體驗。與前代 Llama2相比，Llama3在多個行業(yè)基準測試中展現(xiàn)了突破性的性能，特別是在推理、代碼生成和指令跟蹤等方面取得了顯著進步。為了訓練這一模型，Meta 構建了兩個包含2.4萬個GPU的集群，其中1.6萬個GPU同時用于Llama3的訓練。

Llama3的開發(fā)預示著 Meta 在 AI 領域的雄心壯志。目前，公司正在開發(fā)的最大型模型擁有超過400B（400億）的參數(shù)規(guī)模。Meta Llama3的主要性能特點包括:

模型規(guī)模與類型:提供8B和70B兩種規(guī)模的預訓練和指令調優(yōu)生成文本模型，專為對話和其他語言處理任務優(yōu)化。

模型架構:采用自回歸方法和基于優(yōu)化的變換器架構，引入了分組查詢注意力機制，提升了大規(guī)模參數(shù)下的推理可擴展性。

訓練與數(shù)據(jù)處理:使用超過15萬億的tokens進行預訓練，訓練集是Llama2的七倍，支持高達30種語言。

性能與基準測試:在多個自動化基準測試中表現(xiàn)出色，包括對話、問答、推理等多種任務，并特別針對現(xiàn)實世界場景進行了優(yōu)化。

Meta 還發(fā)布了基于 Llama3的 AI 助手，目前已在美國之外的十多個國家推出。用戶可以在 Facebook、Instagram、WhatsApp 和 Messenger 上使用 Meta AI 助手，它能夠推薦餐廳、規(guī)劃周末活動、協(xié)助學習等。此外，Meta AI 還整合了搜索功能，可以直接訪問網絡上的實時信息，無需切換應用。

Llama-3-70B-Instruct 已經登陸Hugging Chat ，可以在上面直接使用！

體驗地址：https://www.meta.ai/

模型下載：https://top.aibase.com/tool/meta-llama-3

Hugging Chat：https://huggingface.co/chat/conversation/6621c6d78f6a88b6b6084ac4