Llama官网|llama3 本地部署|llama3下载
首页 Llama3资讯正文

Meta发布Llama 3.2 - 小中型视觉模型与轻量级文本模型

nidongde2024-09-26 12:47:0047

9月25日，Meta发布了Llama 3.2,包括小型和中型视觉语言模型(11B和90B),以及适用于边缘和移动设备的轻量级纯文本模型(1B和3B),包括预训练版本和指令微调版本。

您需要知道的

  • Llama 3.2的1B和3B模型支持128K tokens的上下文长度。

  • Llama 3.2的11B和90B视觉模型可以直接替代相应的纯文本模型,同时在图像理解任务上超越了封闭模型(如Claude 3 Haiku)。

  • Meta分享了首个官方Llama Stack发行版,这将大大简化开发者在不同环境(包括单节点、本地、云端和设备端)中使用Llama模型的方式,实现检索增强生成(RAG)和工具辅助应用的即时部署,并集成了安全措施。

  • AWS、Databricks、Dell Technologies、Fireworks、Infosys和Together AI等合作伙伴与Meta合作,为下游企业客户构建Llama Stack发行版。设备端分发通过PyTorch，ExecuTorch实现,单节点分发通过Ollama实现。

  • Llama 3.2模型在llama.com和Hugging Face上可下载,同时合作伙伴平台上也提供开发接口：AMD、AWS、Databricks、Dell、Google Cloud、Groq、IBM、Intel、Microsoft Azure、NVIDIA、Oracle Cloud、Snowflake等。


视觉语言模型

Llama 3.2系列中最大的两个模型(11B和90B)支持图像推理用例,例如包括图表和图形在内的文档级理解、图像描述,以及基于自然语言描述在图像中定向定位对象等视觉定位任务。

轻量级模型

1B和3B的轻量级模型在多语言文本生成和工具调用能力方面表现出色。这些模型使开发人员能够构建个性化的、设备本地的代理应用程序,具有强大的隐私保护功能,数据永远不会离开设备。例如,这样的应用程序可以帮助总结收到的最后10条消息,提取行动项目,并利用工具调用直接发送日历邀请以安排后续会议。

在本地运行这些模型有两个主要优势：

  1. 即时的提示与响应。

  2. 模型本地化运行，不需要将数据发送到云端，从而确保数据安全与隐私。


模型评估

评估表明,Llama 3.2视觉模型在图像识别和各种视觉理解任务方面与领先的基础模型Claude 3 Haiku和GPT4o-mini具有竞争力。3B模型在遵循指令、总结、提示重写和工具使用等任务上优于Gemma 2 2.6B和Phi 3.5-mini模型,而1B模型与Gemma不相上下。

Llama Stack发行版

7月，Meta发布了对Llama Stack API的意见征求,这是一个标准化的接口,用于规范工具链组件(微调、合成数据生成)以定制Llama模型并构建代理应用程序。社区参与度非常高。

本次发布的发行版中完整的发布内容包括：

  • Llama CLI(命令行界面),用于构建、配置和运行Llama Stack发行版

  • 多种语言的客户端代码,包括Python、Node.js、Kotlin和Swift

  • Llama Stack Distribution Server和Agents API Provider的Docker容器

  • 多个发行版

    • 通过Meta内部实现和Ollama的单节点Llama Stack发行版

    • 通过AWS、Databricks、Fireworks和Together的云端Llama Stack发行版

    • 通过PyTorch ExecuTorch实现的iOS设备上的Llama Stack发行版

    • 由Dell支持的本地Llama Stack发行版


Ollama发行的Llama 3.2模型

Ollama作为流行的大模型本地化运行工具，第一时间对Llama 3.2提供了支持。目前支持的尺寸包括：

  • 1B

  • 3B

本文链接：https://hzby.vip/Llama3/59.html

Llama-8Bllama是啥意思Llama 3.2llama2模型是哪家公司llama模型部署教程Llama 3.1llama 65b模型部署llama评分模型Llama 3llama模型python

相关文章

网友评论