又泄露了，前2个周是说7.23号发布llama3 405B，很多api供应商都表示第一时间接入。
昨天是因为建立仓库忘记私有化了，很短的时间，然后又被抓住了，缓存了一个空页面下来。
全网的llama3消息：
7.23号发布llama3 405B。
fp8 是由 fp16 转换而来
Llama-3 405b 就是纯粹的文本 LLM
已确认存在 8B、70B 和 405B。前两个llama 3.1 是从 405B 中蒸馏得到的。405b 无法绘制独角兽。指令微调可能是安全对齐的。架构与 llama3 一致
支持多语言，Agent/tool能力
118 layers ；Embedding size 16384 ；Vocab size 128256 ；~404B parameters
max_position_embeddings 8192；但是现在目前说的都是上下文128k，可能用外推策略把。
部分完整线程详见：https://x.com/AlpinDale/status/1814717595754377562
llama4的消息：
Llama 4 于六月开始训练 Llama 4 将是完全多模态的，包括音频 Llama 3 405b 仍将在欧盟发售 Llama 4 及更高版本不会在欧盟发布，除非他们允许 META 使用欧盟 Facebook 和 Instagram 帖子作为训练数据。
网友评论