仅需30秒完美复刻任何人的声音 - 最强AI音频11Labs * { margin: 0; padding: 0; outline: 0; } body { font-family: “PingFang SC”, system-ui, -apple-system, BlinkMacSystemFont, “Helvetica Neue”, “Hiragino Sans GB”, “Microsoft YaHei UI”, “Microsoft YaHei”, Arial, sans-serif; line-height: 1.6; } .__page_content__ { max-width: 667px; margin: 0 auto; padding: 20px; text-size-adjust: 100%; color: rgba(0, 0, 0, 0.9); padding-bottom: 64px; } .title { user-select: text; font-size: 22px; line-height: 1.4; margin-bottom: 14px; font-weight: 500; } .__meta__ { color: rgba(0, 0, 0, 0.3); font-size: 15px; line-height: 20px; hyphens: auto; word-break: break-word; margin-bottom: 50px; } .__meta__ .nick_name { color: 576B95; } .__meta__ .copyright { color: rgba(0, 0, 0, 0.3); background-color: rgba(0, 0, 0, 0.05); padding: 0 4px; margin: 0 10px 10px 0; } blockquote.source { padding: 10px; margin: 30px 0; border-left: 5px solid ccc; color: #333; font-style: italic; word-wrap: break-word; } blockquote.source a { cursor: pointer; text-decoration: underline; } .item_show_type_0 > section { margin-top: 0; margin-bottom: 24px; } a { color: 576B95; text-decoration: none; cursor: default; } .text_content { margin-bottom: 50px; user-select: text; font-size: 17px; white-space: pre-wrap; word-wrap: break-word; line-height: 28px; hyphens: auto; } .picture_content .picture_item { margin-bottom: 30px; } .picture_content .picture_item .picture_item_label { text-align: center; } img { max-width: 100%; } .pay_subscribe_notice { margin: 30px 0; padding: 20px; background: fffbe6; border: 1px solid ffe58f; border-radius: 8px; } .pay_subscribe_badge { display: inline-block; padding: 4px 12px; background: faad14; color: fff; border-radius: 4px; font-size: 14px; font-weight: 500; margin-bottom: 12px; } .pay_subscribe_desc { font-size: 15px; line-height: 1.8; color: rgba(0, 0, 0, 0.7); margin-bottom: 12px; } .pay_subscribe_hint { font-size: 13px; color: rgba(0, 0, 0, 0.4); } .__bottom-bar__ { display: flex; justify-content: space-between; align-items: center; position: fixed; bottom: 0; left: 0; right: 0; height: 64px; padding: 8px 20px; background: white; box-sizing: border-box; border-top: 1px solid rgba(0, 0, 0, 0.2); } .__bottom-bar__ .left { display: flex; align-items: center; font-size: 15px; white-space: nowrap; } .__bottom-bar__ .right { display: flex; } .__bottom-bar__ .sns_opr_btn { display: flex; align-items: center; user-select: none; background: transparent; border: 0; color: rgba(0, 0, 0, 0.9); font-size: 14px; } .__bottom-bar__ .sns_opr_btn:not(:last-child) { margin-right: 16px; } .__bottom-bar__ .sns_opr_btn > img { margin-right: 4px; }
仅需30秒完美复刻任何人的声音 - 最强AI音频11Labs
原创 数字生命卡兹克 数字生命卡兹克 2023-10-26 18:53 天津
我的用词一直都挺克制的，基本不会用到“最强”这个字眼。
但是这一次的这个AI应用，是我认为在TTS（文字转音频）这个领域，当之无愧的“最强”。
ElevenLabs，简称11Labs。
仅需30秒到5分钟左右的极少的数据集，就可以直接克隆任何一个人的声音，完美复刻他的说话方式、他的音色，甚至连他的情绪都复刻过来。
最牛逼的是，你不需要再额外做任何操作，就可以直接用同样的声音，说出29国的语言。那个流畅度，那个口语表达。。。我在AI面前宛如一个废物。
我简单用11Labs+奇妙元做了一个特朗普的demo，大家可以感受一下。
11Labs网址在此（上不去就开魔法）：
尽管很多的大厂的语音TTS能力已经很强大了，比如微软的TTS、比如国庆期间刷爆全网的GPT的语音TTS，但是这些大厂有一个问题，就是公司体量实在太大了，在商业化上的舆论影响和被监管风险也极大，所以这种超低成本的语音克隆TTS，他们至今也没有向大众公开，毕竟很容易受到全社会的伦理指责。
至于那些开源的TTS，说实话，效果都挺差强人意，比如Tortoise奇慢无比，比如bark下限和稳定性太差，都难堪大用。
大厂们公开的语音产品中，也没有一项能达到11Labs如此便宜且如此便捷的了。要知道，像微软的声音克隆成本高的可怕，数小时的数据集、几千几万块钱。而11Labs，只需要30秒到5分钟的音频，1个月只需要5美刀就可以畅快的使用了。效果还出奇的好。
毕竟在现在这个AI时代，AI语音已经成了最为重要的环节之一。内容全球化翻译、智能配音、数字人与机器人等，都有超强的应用。换句话说，没有强TTS在背后支持，那些视频和数字人，各个都是恐怖谷效应拉满假到不行的哑巴。
而11Lbas的使用上，更是突出一个简单和有手就行。
先准备30秒到5分钟的音频文件，不需要超过5分钟，对质量几乎没有任何意义了。你可以多个音频文件，但是每个不要超过10M。这块一定要注意，数据集的质量跟你后面生成的质量息息相关，里面不要有任何杂音，越干净、越纯粹越好。
上面那个例子，我就去B站扒了点特朗普的演讲视频，然后剪映剪了下，准备了大概4分钟的特朗普的干声数据集，切成了11段。
然后进入11Labs的主页，登录后进入这个VoiceLab的页面。这个页面就可以去做声音的克隆了。那个大大的加号就是新建一个声音。
在弹窗中，第二个选项就是声音克隆。
不过这个功能是付费功能，正常付个费就可以用了。首月优惠1美刀，基本就是白给，可以直接绑定中国境内的VISA就可以支付，比ChatGPT的付费方便多了。
在打开的弹窗上随便输个姓名，把数据集拖进去就行。标签和描述啥的不用填。然后确认。记得一定不要开任何翻译，比如google翻译啥的，要不然会报错。
大概只需要二十几秒钟吧，模型就OK了，速度出奇的快。你就可以直接点Use去使用。
这里再推荐大家几个TTS的小技巧，善用标点符号去引导情绪。
比如这句话：I am Trump . my other name is “Chuan Jian guo”.
直接生成的话会是这样：
把my other name is “Chuan Jian guo”这句话，变成my other name… is “Chuan Jian guo”后，你就能明显听出小停顿的情绪：
如果再把I am Trump后面加三个感叹号，变成I am Trump!!!的话：
这情绪一下就激动了起来。。。
11Labs对这些标点符号的引导非常到位，善用标点符号，能给这段文字带来完整的情绪感受。
在最后，说一下目前AI声音的几种技术和场景吧。
SVC，类似于变声器。将一段音频转换成另一种特定的音色，音频to音频，我也写过一篇教程：用SVC做特定人物AI配音 - 你奶奶都会的AI声音教程 ，成本挺高的，数十分钟的干声数据集，训练几个小时起步，但是对情绪和音调的还原最好，适合用在剧集配音、歌声转换等场景。不过这块11Labs已经明确要进军了，做语音转换，不知道后面用户的使用成本会拉低到什么地步。
TTS - 声音克隆。将特定的人声训练成模型，然后文字转音频。用于需要特定某个人声的场景、或同声翻译等等，数字人应用的很广泛。成本低，但是对于情绪的变化肯定没有SVC那么强，毕竟几分钟数据集+几乎为0的等待时间，11Labs是典型的王者。
普通TTS。用平台已经训练好的声音做配音，不可自定义，在有声书和视频配音里已经被广泛应用。这块的产品就非常多了，国外的微软TTS、11Labs，国内的魔音工坊等等。
基本就这三种了，SVC和TTS我也写过好多教程了，大家可以根据自己的场景，各取所需。
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，并给我个星标⭐～感恩。
数字生命卡兹克
 阅读 赞  分享 ‘%3E %3Cg transform=‘translate(0 -2.349)‘%3E %3Cpath d=‘M0 2.349h24v24H0z’/%3E %3Cpath fill=‘%23576B95’ d=‘M16.45 7.68c-.954 0-1.94.362-2.77 1.113l-1.676 1.676-1.853-1.838a3.787 3.787 0 0 0-2.63-.971 3.785 3.785 0 0 0-2.596 1.112 3.786 3.786 0 0 0-1.113 2.687c0 .97.368 1.938 1.105 2.679l7.082 6.527 7.226-6.678a3.787 3.787 0 0 0 .962-2.618 3.785 3.785 0 0 0-1.112-2.597A3.687 3.687 0 0 0 16.45 7.68zm3.473.243a4.985 4.985 0 0 1 1.464 3.418 4.98 4.98 0 0 1-1.29 3.47l-.017.02-7.47 6.903a.9.9 0 0 1-1.22 0l-7.305-6.73-.008-.01a4.986 4.986 0 0 1-1.465-3.535c0-1.279.488-2.56 1.465-3.536A4.985 4.985 0 0 1 7.494 6.46c1.24-.029 2.49.4 3.472 1.29l.01.01L12 8.774l.851-.85.01-.01c1.046-.951 2.322-1.434 3.59-1.434 1.273 0 2.52.49 3.472 1.442z’/%3E %3C/g%3E %3C/g%3E %3C/g%3E%3C/svg%3E) 推荐 ’ fill=‘%23000’ fill-opacity=’.9’/%3E%3C/svg%3E) 留言