智谱AI刚刚把他们的Sora「清影」，正式开源了，我爱他们。 * { margin: 0; padding: 0; outline: 0; } body { font-family: “PingFang SC”, system-ui, -apple-system, BlinkMacSystemFont, “Helvetica Neue”, “Hiragino Sans GB”, “Microsoft YaHei UI”, “Microsoft YaHei”, Arial, sans-serif; line-height: 1.6; } .__page_content__ { max-width: 667px; margin: 0 auto; padding: 20px; text-size-adjust: 100%; color: rgba(0, 0, 0, 0.9); padding-bottom: 64px; } .title { user-select: text; font-size: 22px; line-height: 1.4; margin-bottom: 14px; font-weight: 500; } .__meta__ { color: rgba(0, 0, 0, 0.3); font-size: 15px; line-height: 20px; hyphens: auto; word-break: break-word; margin-bottom: 50px; } .__meta__ .nick_name { color: 576B95; } .__meta__ .copyright { color: rgba(0, 0, 0, 0.3); background-color: rgba(0, 0, 0, 0.05); padding: 0 4px; margin: 0 10px 10px 0; } blockquote.source { padding: 10px; margin: 30px 0; border-left: 5px solid ccc; color: #333; font-style: italic; word-wrap: break-word; } blockquote.source a { cursor: pointer; text-decoration: underline; } .item_show_type_0 > section { margin-top: 0; margin-bottom: 24px; } a { color: 576B95; text-decoration: none; cursor: default; } .text_content { margin-bottom: 50px; user-select: text; font-size: 17px; white-space: pre-wrap; word-wrap: break-word; line-height: 28px; hyphens: auto; } .picture_content .picture_item { margin-bottom: 30px; } .picture_content .picture_item .picture_item_label { text-align: center; } img { max-width: 100%; } .pay_subscribe_notice { margin: 30px 0; padding: 20px; background: fffbe6; border: 1px solid ffe58f; border-radius: 8px; } .pay_subscribe_badge { display: inline-block; padding: 4px 12px; background: faad14; color: fff; border-radius: 4px; font-size: 14px; font-weight: 500; margin-bottom: 12px; } .pay_subscribe_desc { font-size: 15px; line-height: 1.8; color: rgba(0, 0, 0, 0.7); margin-bottom: 12px; } .pay_subscribe_hint { font-size: 13px; color: rgba(0, 0, 0, 0.4); } .__bottom-bar__ { display: flex; justify-content: space-between; align-items: center; position: fixed; bottom: 0; left: 0; right: 0; height: 64px; padding: 8px 20px; background: white; box-sizing: border-box; border-top: 1px solid rgba(0, 0, 0, 0.2); } .__bottom-bar__ .left { display: flex; align-items: center; font-size: 15px; white-space: nowrap; } .__bottom-bar__ .right { display: flex; } .__bottom-bar__ .sns_opr_btn { display: flex; align-items: center; user-select: none; background: transparent; border: 0; color: rgba(0, 0, 0, 0.9); font-size: 14px; } .__bottom-bar__ .sns_opr_btn:not(:last-child) { margin-right: 16px; } .__bottom-bar__ .sns_opr_btn > img { margin-right: 4px; }
智谱AI刚刚把他们的Sora「清影」，正式开源了，我爱他们。
原创 数字生命卡兹克 数字生命卡兹克 2024-08-06 06:58 四川
大半夜的，大洋对岸不卷，国内公司卷起来了。
我真的想睡觉，真的。
起因是我睡觉之前，在看Github的时候，无意间看到THUKEG这个号，更新了一个项目。
CogVideoX。
网址在此：https://github.com/THUDM/CogVideo
THUKEG算是智谱的官号，而CogVideoX，则是前两周很火的智谱的第二世代AI视频清影的基模型。
用最通俗的话理解就是，CogVideoX等于GPT4o，而清影等于ChatGPT，你就可以简单的理解为，一个是模型，一个是基于模型做的产品，所以其实可以画个等号。
前两周，第二世代的AI视频大战，在已有的三幻神Runway、可灵、Luma的基础上，Pixverse上线了V2版本，Vidu的模型也千呼万唤始出来。
而作为大模型领域最明星的AI公司，智谱，也加入了这场AI视频的混战，发布了他们的DiT视频产品，清影。
这个产品，在他们的AI助手智谱清言上，就能用。
但是非常坦率的讲，我没有写它，是因为我觉得，在生成效果上，确实跟可灵、Runway，还是有一定的差距。
而在发布清影的两周后的今天，他们决定，把CogVideoX，开源了。
那就值得，吹一波了。
CogVideoX模型下载地址：
https://huggingface.co/THUDM/CogVideoX-2b
现在主流的AI视频，全都是闭源的，有一个开源的Open-Sora，但是说实话，效果也差强人意。
而清影，效果虽然跟主流的闭源模型尚有差距，但是在跑一些内容上，至少是可用的状态。
这一次开源的，我大概翻了下，开源的是一个CogVideoX-2B的小模型。
推理需要18G显存，也就是说，在有单卡3090或者4090的时候，就可以直接本地跑视频了，不需要再烧钱了，不过看峰值会到36G，大概率会爆显存。
不过他们自己也说了，马上就会优化。
不过我只有一张小垃圾4060，显存就8G，你优化完我也跑不动。4090，说实话，也真的没钱买= =
啥时候AI视频模型，也跟SD1.5一样，能普惠众生人人皆可跑就好了。
这个2B的模型，视频长度是6秒，帧率为8帧/秒，视频分辨率为720*480。
这参数，有一股子即梦初代的那感觉了。
我放几个他们官方的case（其实你去清影上跑几个是差不多的）
一艘精致的木制玩具船，桅杆和船帆上雕刻着复杂的图案，在模拟海浪的蓝色长毛绒地毯上平稳地滑行。船身漆成浓郁的棕色，并带有小窗户。地毯柔软而有质感，提供了一个完美的背景，就像一片广阔的海洋。船的周围环绕着各种玩具和儿童用品，暗示着一个充满童趣的环境。这个场景捕捉到了童年的天真和想象力，玩具船的旅程象征着在异想天开的室内环境中的无尽冒险。
镜头跟在一辆白色复古越野车后面，车顶有黑色行李架，越野车在陡峭的山坡上沿着松树环绕的陡峭土路快速行驶，轮胎上的尘土飞扬，阳光照在越野车上，越野车在土路上快速行驶，给整个场景投下了温暖的光辉。土路缓缓弯向远方，看不到其他车辆。道路两旁的树木都是红杉，还有零星的绿色植物。从后方看，汽车轻松地沿着弯道行驶，仿佛在崎岖的地形上行驶。土路本身被陡峭的丘陵和山脉环绕，头顶是晴朗的蓝天和飘渺的白云。
在一个饱受战争蹂躏的城市，废墟和残垣断壁诉说着满目疮痍，在这个令人心碎的背景下，一个凄美的特写镜头定格了一个年轻的女孩。她的脸上沾满了灰烬，无声地证明着周围的混乱。她的眼睛里闪烁着悲伤和坚韧，捕捉到了这个因冲突而失去天真世界的原始情感。
推理大概是这样，但是开源出来，我更期待的，其实是微调和插件的生态。
比如现在大家都在用的AI绘图SD的1.5模型，基模其实做的就跟一坨屎一样，但是毕竟是开源的，一堆大神基于SD1.5，做出了非常牛逼的模型，比如Majic、DreamShaper、Anything等等。
而CogVideoX，也是可以微调的。
想起了在WAIC上，阶跃星辰跟上影做的AI视频模型，他们用了200分钟的葫芦娃素材，就调了一个葫芦娃大模型。
你出的所有的东西，都是葫芦娃风格，你也不用费劲巴拉的去搞什么角色一致性了，我输入大娃，那就出来的就是大娃，我写爷爷和蛇精在一起哈啤酒，那就是他两。
而现在，CogVideoX开源，我们可以微调的情况下，一些用AI做短剧和长剧集的，完全可以试着微调一个自己的视频大模型，来个性化风格和角色。
因为我自己一直觉得，文生视频的上限和表演动态，是比图生视频要高很多的，但是两个最大的坎是风格一致性和角色一致性，如果可以微调，那也是有很多办法可以去解决了。
CogVideoX-2B的微调，需要的显存是40G，普通的显卡不行了，得上A6000这种渲染卡了。
不过毕竟是视频模型，不说普惠到普通大众，但是对于一些初创公司和小企业，这门槛几乎就是约等于0。
因为，这是开源的，他们不需要再从0开始花费无数资金去做一个自己的大模型，去趟这一趟坑，他们只需要，买点本地的卡，加起来也就几万十几万，然后，就可以本地微调了。
我也一直相信，开源的未来，一定比闭源强。
扎克伯格在前段时间发LLaMa3.1 405B的那天晚上，在Facebook上发了一封万字公开信。
其中有一段话让我印象很深刻。
翻译过来是：
我坚信开源是实现积极AI未来的必要条件。AI相比任何现代技术都有更大的潜力提升人类的生产力、创造力和生活质量，并加速经济增长，同时推动医疗和科学研究的进步。开源将确保世界上更多的人能够享受AI带来的益处和机会，防止权力集中在少数公司手中，使得这项技术能够更加均衡、安全地在全社会推广。
防止权力集中在少数公司手中，使得这项技术能够更加均衡、安全地在全社会推广。
开源，就是最好的手段，闭源并不会带来技术平权，但是开源会，因为AI不是一个娱乐工具，他是生产力工具，他的推动，主要都来自于公司、研究机构等等。
而每个公司，在使用AI时，都有三个很大的痛：
1. 他们需要训练、微调和提炼他们自己的模型。
2. 他们需要保护他们的私有数据。
3. 他们希望把自己的AI变成长期标准的生态系统。
这一切，汇总起来，就一句话：
我们需要能控制自己的命运，而不是把命交给别人。
而在国内，智谱是我觉得很特别的公司，它很像OpenAI，又有着Meta的气质。
要知道Meta的商业模式，和一些大模型公司比如OpenAI的商业模式完全不一样，他们不靠卖大模型的使用权收钱，所以开源其实对于Meta来说，并没有多大的影响。
但是智谱不一样，智谱是一家大模型公司。
但是在这样的考量下，他们依然，毅然决然的开源了。
可能他们也像Meta一样，为了那个很崇高的信仰：“使得这项技术能够更加均衡、安全地在全社会推广。”
除了CogVideoX外，他们还开源过N多东西。
去他们的Github上翻一下，你就会发现很多惊喜：
我爱每一个愿意开源的公司。
我期待未来某一天，无数的开发者在CogVideoX的基础上，开发出了各种各样的插件和微调模型，每一个影视、短剧、广告等等等各种跟视频有关的行业的公司，也都有自己N多的模型和各种各样的视频生成工作流。
就像SD在各家企业里，繁荣昌盛。
我佩服智谱。
这不仅是一个技术的决定，更是一种信念的传递。
大洋对岸的灯光渐渐熄灭。
而我们这边的黎明。
正在冉冉升起。
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。
>/ 作者：卡兹克
>/ 投稿或爆料，请联系邮箱：wzglyay@gmail.com
数字生命卡兹克
 阅读 赞  分享 ‘%3E %3Cg transform=‘translate(0 -2.349)‘%3E %3Cpath d=‘M0 2.349h24v24H0z’/%3E %3Cpath fill=‘%23576B95’ d=‘M16.45 7.68c-.954 0-1.94.362-2.77 1.113l-1.676 1.676-1.853-1.838a3.787 3.787 0 0 0-2.63-.971 3.785 3.785 0 0 0-2.596 1.112 3.786 3.786 0 0 0-1.113 2.687c0 .97.368 1.938 1.105 2.679l7.082 6.527 7.226-6.678a3.787 3.787 0 0 0 .962-2.618 3.785 3.785 0 0 0-1.112-2.597A3.687 3.687 0 0 0 16.45 7.68zm3.473.243a4.985 4.985 0 0 1 1.464 3.418 4.98 4.98 0 0 1-1.29 3.47l-.017.02-7.47 6.903a.9.9 0 0 1-1.22 0l-7.305-6.73-.008-.01a4.986 4.986 0 0 1-1.465-3.535c0-1.279.488-2.56 1.465-3.536A4.985 4.985 0 0 1 7.494 6.46c1.24-.029 2.49.4 3.472 1.29l.01.01L12 8.774l.851-.85.01-.01c1.046-.951 2.322-1.434 3.59-1.434 1.273 0 2.52.49 3.472 1.442z’/%3E %3C/g%3E %3C/g%3E %3C/g%3E%3C/svg%3E) 推荐 ’ fill=‘%23000’ fill-opacity=’.9’/%3E%3C/svg%3E) 留言