CogView4：首个支持生成汉字的开源AI文生图模型

CogView4是什么

CogView4是由智谱科技在2025年3月4日正式发布的一款开源AI文生图模型。作为CogView系列的最新成员，CogView4不仅支持中文提示词的输入，还能将中文文本直接转化为生动图像，成为首个支持生成汉字的开源文生图模型。这一突破性的功能使得CogView4在多语言文本处理领域脱颖而出，为广告、短视频等领域的创意需求提供了全新的解决方案。

功能特色

支持中英双语提示词输入

CogView4的一大特色是其强大的双语处理能力。该模型不仅能够理解和遵循中文提示词，还能够有效处理中英文双语提示词，将中英文字符自然地融入生成的图像中。这一功能不仅满足了多语言环境下的用户需求，还极大地提升了模型的应用范围和灵活性。

支持任意长度提示词输入

与以往的文生图模型相比，CogView4在提示词处理能力上实现了质的飞跃。该模型支持输入任意长度的提示词，能够生成范围内任意分辨率的图像。这一特性使得用户在创作时可以使用更加复杂和长篇的提示词，结合更多的语境和细节要求进行生成，极大地延展了创造力的边界。

支持任意分辨率图像生成

CogView4在图像生成方面同样表现出色。该模型支持生成任意分辨率的图像，只需满足一定的分辨率条件即可。这一特性使得用户能够创建高质量的定义输出，适用于多种应用场景，包括商业需求和个人创作。

高准确率的汉字生成

作为首个支持生成汉字的开源文生图模型，CogView4在汉字生成方面展现出了极高的准确率。该模型能够将中文字符自然地融入生成的图像中，使得生成的图像在视觉上更加自然和逼真。

强大的复杂语义对齐和指令跟随能力

在DPG-Bench基准测试中，CogView4的综合评分排名第一，彰显出其强大的复杂语义对齐和指令跟随能力。这一特性使得模型能够更好地理解用户的意图和需求，生成符合用户期望的图像。

技术细节

模型架构

CogView4采用了先进的模型架构，包括文本编码器和图像生成器两部分。文本编码器负责将输入的提示词转换为模型可理解的表示形式，而图像生成器则根据这些表示形式生成对应的图像。

编码器优化

CogView4将文本编码器从纯英文的T5 encoder换为具备双语能力的GLM-4 encoder，并通过中英双语图文对进行训练。这一优化使得模型在处理中文提示词时表现出色，同时也提升了双语提示词输入的能力。

扩散生成建模

CogView4采用了扩散生成建模（Diffusion Generative Modeling）技术来生成图像。该技术通过逐步添加噪声到数据样本中，然后学习如何从噪声中恢复原始数据样本来生成图像。CogView4结合了Flow-matching方案和参数化的线性动态噪声规划，以适应不同分辨率图像的信噪比需求。

多阶段训练策略

CogView4采用了多阶段训练策略，包括基础分辨率训练、泛分辨率训练、高质量数据微调以及人类偏好对齐训练。这种分阶段训练方式不仅覆盖了广泛的图像分布，还确保生成的图像具有高美感并符合人类偏好。

应用场景

创意产业

CogView4在创意产业中具有广泛的应用前景。设计师和艺术家可以利用该模型将文字描述快速转化为图像，为广告、海报、插画等创作提供灵感和素材。同时，CogView4还支持超长提示词生成四格漫画或复杂画面，为漫画创作提供了新的可能性。

教育培训

在教育领域，CogView4可以作为辅助工具帮助教师和学生更好地理解文字内容。通过输入课文或知识点的描述，教师可以快速生成对应的图像或插图，帮助学生更好地理解和记忆知识。

广告营销

在广告营销领域，CogView4可以根据品牌需求生成符合品牌形象和宣传语调的图像。这种个性化的图像生成能力有助于提升广告的吸引力和传播效果。

数字艺术创作

对于数字艺术创作者来说，CogView4提供了一个强大的创作工具。他们可以通过输入自己的创意和想法，快速生成对应的图像作品。同时，CogView4还支持任意分辨率图像生成和复杂提示词输入，使得创作者能够更加自由地发挥自己的想象力。

相关链接

• GitHub仓库：https://github.com/THUDM/CogView4

• 在线服务：https://modelscope.cn/studios/ZhipuAI/CogView4

总结

CogView4作为首个支持生成汉字的开源AI文生图模型，在功能特色、技术细节和应用场景等方面都展现出了出色的表现。其强大的双语处理能力、任意长度提示词输入、任意分辨率图像生成以及高准确率的汉字生成能力，使得该模型在创意产业、教育培训、广告营销等领域具有广泛的应用前景。同时，CogView4的开源特性也使得更多的开发者和创意者能够参与到模型的优化和扩展中来，共同推动文生图技术的发展和进步。