导读
本文介绍:如何使用Llama 3来增加图像的生成的质量和效果?
关注公众号
后台发送 "llama3" ,获取更多llama3 的本地化部署, 推理, 微调细节,以及对应的文档和代码
后台发送"AI应用","RAG","大模型" 获取更多相关文章
STABLE DIFFUSION
Llama 3引发了新一波丰富用户Prompt的应用。
流行的AI生成工具,如ComfyUI和Automatic1111/Forge现在无缝集成了Llama 3。这使得提示增强变得更加容易,无需复杂的操作,这要归功于配套的插件
什么是Llama 3?
Llama 3是Meta推出的大型语言模型(LLM)。在特定条件下可以免费商用(每月最多7亿次请求)。Meta Llama 3的版本从8B到400B不等,超过了谷歌的Gemma/Gemini、Mistral和Claude 3 Sonnet等可比模型,能够在4GB GPU上高效运行。
安装Ollama
Ollama 用作安装 Llama 3 的辅助工具。您可以从下面的链接下载与您的操作系统兼容的版本。
下载Ollama
在启动 Ollama 后,在终端中执行以下命令以下载 llama3_ifai_sd_prompt_mkr_q4km。它大约占用 4.9GB 的存储空间。
ollama run impactframes/llama3_ifai_sd_prompt_mkr_q4km
该模型将 Llama 3 与 5000 个高质量的稳定扩散提示结合在一起,以确保优越的提示性能和质量。
下载完成后,您可以与 Llama 3 进行对话。它专门设计用于提示。如果我向 Llama 3 输入 1girl,它将详细描述提示,并提供关于 1girl 概念的详细见解。
提示:可爱、充满活力的年轻女孩,灿烂的微笑,卷曲的棕色头发,独自站在郁绿的森林林地上,脖子上戴着鲜艳的花环,用闪亮的眼睛直视着观众,周围开满了盛开的野花,阳光透过树木洒落下来。
安装扩展
每次手动复制提示都是不切实际的,按照指南安装 ComfyUI 节点和 Automatic1111 StableDiffusionWebUI/Forge 扩展,以简化 Llama 3 的使用。
自动稳定扩散 WebUI/Forge 扩展
WebUI 和 Forge 版本共享相同的扩展和安装过程,如下所述。
导航到 Extensions > Available,然后点击 Load from,然后搜索 IF_prompt_MKR 以找到并安装它。
扩展设置
•安装后,转到 设置 > 未分类 > iF_prompt_MKR 并将生成提示的 API 选择设置为 Ollama。
•然后在脚本部分,选择 iF_prompt_MKR。
•在文本模型中,选择字符作为 iF_prompt_MKR。
•选择文本模型为 impactframes/llama3_ifai_sd_prompt_mkr_q4km:latest。
•您可以在输入提示字段中输入一个简单的提示。
•请注意,启用扩展将使用 iF_prompt_MKR 生成的提示替换原始提示框。
•在样式(可选)下,自定义和设置提示的样式。选择的样式将显示用于立即修改提示的样式。
在前缀和嵌入以及后缀和洛拉中,如果需要,选择嵌入模型和洛拉模型。尽管这些是可选的。
选择负面提示将在文本字段中显示选项。我选择了 simple_negative。
我使用 Juggernaut XL Lightning 作为检查点模型。如果不使用 Lightning 或 Turbo 模型,请调整步骤和 CFG 比例。
使用此扩展时,终端会提供提示的指南和建议供参考。
比较测试
在 iF_prompt_MKR 文本模型中,将女孩,蓝天背景作为提示输入。样式选择为史诗和摄影,负面提示为简单负面。
在没有 Llama 3 支持的情况下生成相同提示的图像。
虽然两组图像都描绘了一个女孩站在蓝天背景下,但使用 Llama 3 提示生成的图像更丰富,具有更多的细节和背景内容。Llama 3 显著增强了提示,特别是当原始提示缺乏具体性时。
ComfyUI
安装 Ollama 后,使用 ComfyUI 管理器搜索 ComfyUI-IF_AI_tools 并安装它。
然后在以下链接中下载工作流程:
使用 Llama 3 为 ComfyUI 生成提示
我配置它来比较常规提示和 Llama 3 增强提示。在 IF Prompt to Prompt 部分,我使用toy cat作为提示。
•我选择了 Juggernaut XL Lightning 作为检查点模型,如果不使用 Lightning Model,则调整 steps 和 cfg。
•样式装饰提示设置为 Epic,样式提示设置为 DigitalArt,负面提示设置为 simple_negative。
在 IF Display Text 中,观察 Llama 3 生成的提示与原生提示的不同之处,顶部显示 prompts,底部显示 negative prompts。
Llama 3 增强的提示结果在背景内容上更丰富和详细。然而,由于其逼真性,一些图像失去了动画感,但仍展示了 Llama 3 提供的显著增强。
结论
与 Llama 3 一起使用的扩展极大地简化了增强提示的过程。尽管在增强后偶尔会出现偏差,但总体测试结果非常令人满意,特别是当初始提示缺乏详细的背景描述时。
Llama 3 提供的补充上下文显著增强了图像,使其成为 Stable Diffusion 提示生成武器库中不可或缺的元素。
本文链接:https://hzby.vip/Llama3/47.html
llama模型训练需要多大显存llama原模型下载llama2模型教程llama 模型结构llama65b大模型llama模型部署llama模型全称llama2 7b模型全量微调llama2模型微调部署llama2模型详细介绍
网友评论