开发者一又友们巨匠好：kaiyun网址

这里是 「RTE 开发者日报」 ，每天和巨匠一皆看新闻、聊八卦。咱们的社区裁剪团队会整理分享 RTE（Real-Time Engagement） 规模内「有话题的 新闻 」、「有立场的 不雅点 」、「挑升义的 数据 」、「有念念考的 著作 」、「有看点的 会议 」，但内容仅代表裁剪的个东谈主不雅点，宽待巨匠留言、跟帖、酌量。

本期裁剪：@SSN，@鲍勃

01 有话题的新闻

1、Freestyler: 伴奏同步的说唱合成模子

歌颂是东谈主类文化不可或缺的一部分，体现着东谈主类的创造力。说唱（Rap）是歌颂各样门户中最具特色的一种。从内容上讲，说唱的中枢特色在于其激烈的节拍和格调，这使其与其他门户有着较着的分歧。说唱歌手频频会快速且有劲地唱出歌词段落，与伴奏节拍精真金不怕火同步，营造出一种充满活力且动感皆备的听觉体验。如何生成当然的说唱是一个极具价值的磋磨所在。

最近，西工大音频语音与说话科罚磋磨组（ASLP@NPU）与微软、CUHK-Shenzhen 合作的论文 「Drop the beat！Freestyler for Accompaniment Conditioned Rapping Voice Generation」 被东谈主工智能规模顶级会议 AAAI2025 委用，该论文针对上述问题开展了久了磋磨，提议首个说唱生成模子 Freestyler，以歌词和伴奏输入，生成与伴奏格退换奏匹配的说唱；同期开源了首个说唱数据集 RapBank。

论文原文：https://arxiv.org/abs/2408.15474（@音频语音与说话科罚磋磨组）

2、Google 发布了「编造现实」版 Android，想让你把熟识的期骗「戴在头上」

谷歌日前致密发布了用于头显和眼镜开荒的操作系统 Android XR。这家公司将其定位为一个全面的空间计较平台，并但愿在 XR 规模与 Meta 和苹果张开竞争。

如名字所示，这个基于 Android 的系统主要面向 XR 开荒，并相沿总共的平面 Android 期骗。

谷歌默示，咫尺 Play Store 的 Android 期骗将默许相沿 Android XR，除非开发者选择退出。这意味着关联开荒从第一天起初就领有了一个弘大的现存平面期骗库，包括谷歌的第一方期骗，如 Chrome、Gmail、Calendar 和 Drive 等。推行上，谷歌自家的期骗如故更新并末端了所谓的「空间化」。

就功能而言，这与苹果的 visionOS 非凡相似，但带有 Android 的滋味。

Android XR 的显耀分歧在于它的东谈主工智能集成。Gemini 内置，但远远超出了聊天代理。Android XR 的 Gemini 可围绕你在现实寰宇和编造寰宇中看到的一切进行解放样式的语音对话。

苹果为 visionOS 带来了 Siri，但并不成感知头显表里的视图。Meta Horizon 操作系统有一个实验性的 AI，不错相沿现实寰宇视图，但不相沿编造寰宇的视图。Gemini 可同期研讨确实和编造内容，是以你会嗅觉体验愈加无缝，更为有效。

另外，Android XR 不仅相沿头显，同期相沿智能眼镜。谷歌展望，Android XR 智能眼镜将很快成为智高手机的外接屏幕器具。

Gemini 是 Android XR 计划的中枢，而一个关键载体是紧凑型眼镜。它不错在盛大眼镜形态的基础之上提供平视炫耀和与 AI 对话时的音频反应。与头显相似，关联的智能眼镜确实确定会配备录像头，它会与十年前的 Google Glass 十分相像，但更前锋、更智能。

尽管咫尺尚莫得针对 Android XR 的具体智能眼镜居品，但谷歌和三星一直在合作开发一款名为「Project Moohan」的 MR 头显，并计划于来岁向消耗者推出。

在开发方面，谷歌相沿庸碌的开发门路。关于使用 Android Studio 的开发者来说，新的 Jetpack XR SDK 膨胀了关联的管事历程，以匡助开发者创建现存平面期骗的空间版块。这包括一个新的 Android XR 模拟器，无需头显即可测试 Android XR 期骗轨范。Unity 同期提供了一个全新的 Android XR 膨胀，以及 WebXR 和 OpenXR 得到相沿。

谷歌同期默示，将通过供应商膨胀为 OpenXR 带来新的功能，包括：

东谈主工智能驱动的手形网格，从而适合不同手形和大小翔实的深度纹理，允许确实寰宇的对象庇荫编造内容复杂的光意想，以匹配现实寰宇的照明要求新的可跟踪开荒，可允许你把现实寰宇的物品，如札记本电脑、手机、键盘和鼠标带入编造环境

值得一提的是，谷歌将在 2025 年举办一个 Android XR 开发者磨真金不怕火营，感风趣的开发者不错拜谒页面进行苦求。（@映维网）

3、Voice Agent 框架 TEN 如故相沿 Gemini Multimodal Live API

TEN 是一个开源的 Voice Agent 框架，用于圣洁地构建具有语音对话、视觉领略智商、器具调用等智商的对话式 AI。

Gemini Multimodal Live API 发布后 24 小时内，TEN 团队速即整合了Live API。Live API 凭借超低蔓延、高档多模态功能和超卓的机动性引颈潮水。

此外，通过使用咫尺免费的 API 密钥，你不错无缝地将其与 TEN 里面提供的 35+膨胀集成，打造你我方的专属期骗场景。

了解 TEN：https://github.com/TEN-framework/TEN-Agent

02 有亮点的居品

1、ChatGPT 推出视频通话和屏幕分享功能

「OpenAI 12 天」步履已投入第六天，OpenAI 公司晓谕为 ChatGPT 的高档语音模式带来视频输入和屏幕分享功能，并为管待圣诞节，限时推出全新的圣诞老东谈主模式。

OpenAI 公司默示畴昔几天时刻内，会向大大都 ChatGPT Plus 和 Pro 用户以及总共 Team 用户，推出视频和屏幕分享。该聊天机器东谈主的企业和培植用户将在 1 月份取得视频和屏幕分享功能。

ChatGPT 的高档语音模式当今不错通过智高手机录像头相沿视频聊天，并通过屏幕分享来识别开荒屏幕炫耀的物体。

用户不错通过以下格式使用：

在手机上绽开 ChatGPT期骗点击聊天栏隔邻的语音图标点击左下角的视频图标即可启用视频输入或者点击三个点的菜单，选择「分享屏幕」进行屏幕分享（@IT 之家）

2、Midjourney 推出多东谈主合营的寰宇构建器具 「Patchwork」 相沿 100 东谈主吞并画布操作

Midjourney 是一家备受宽待的 AI 图像生成初创公司，领有杰出 2100 万名 Discord 用户。近日，该公司晓谕将推出一款新的寰宇构建器具 「Patchwork」，标志着他们从图像创作膨胀到更复杂的创意合作规模。

「Patchwork」 在 Midjourney 的 Discord 频谈通过直播展示，用户需要将他们的 Midjourney Discord 帐户集结到他们的 Google 帐户才调拜谒 Patchwork 的磋磨预览。

该器具提供一个白色的无尽画布，用户不错使用器具箱中的各式按钮来添加脚色、事件、派系、地点、谈具等元素。用户不错通过 「保存」 功能下载 JSON 文献，包含在画布上生成的总共 Midjourney 图像的相接。

要生成新寰宇，用户需要在 「create」 屏幕顶部的裁剪器栏中输入文本提醒，然后从一组 10 种不同的图像样式中选择一种或多种。这会生成一个新的白板，其中包含一堆新的静止图像财富和文本框或实体（称为「碎屑」），包括允许用户提醒相宜运投胎界刻画的新图像或缔造的输入框，甚而是全新的 AI 生成的脚色刻画。

不错添加新的脚色框，然后用户不错提醒创建称呼和特征。同期，用户不错在脚色之间缔造集结，并撰写稿为序列和场景刻画。

分享功能允很多个用户及时合营，一个寰宇最多可相沿 100 名用户在吞并画布上操作，不外用户越多，画布上的合营可能会越散乱词语。

在畴昔的更新中，Midjourney 计划允许非用户稽察这些创作板，以便更多的创意团体大概使用这一器具。Midjourney 的 V7 版块也将推出，相沿脚色在不同图像中的一致性。此外，Kreminski 提到，Patchwork 的背后有三个大型说话模子在运作，包括一个专为 Midjourney 定制的开源模子。（@AIbase 基地）

3、AI 语音智能体平台 Vapi 完成 2000 万好意思元 A 轮融资，BVP 和 YC 等投资，估值达 1.3 亿好意思元

AI 语音智能体初创公司 Vapi（前身为 Superpowered Labs）本日晓谕完成 2000 万好意思元 A 轮融资，由 Bessemer Venture Partners 领投，Abstract Ventures、AI Grant、Y Combinator、Saga Ventures 和 Michael Ovitz 参投。据知情东谈主士清爽，本轮融资后公司估值达 1.3 亿好意思元。

Vapi 建设于 2023 年，专注于为开发者提供 AI 驱动的语音 Agent 部署平台。其中枢居品提供机动的 API 接口，相沿定制化对话历程，并可与 CRM 和电子健康记载等现存系统无缝集成。平台接管基于 Kubernetes 的架构和独有互联网主干网，大概同期科罚数百万并发通话，确保及时当然的对话体验。

值得在意的是，Vapi 在建设仅六个月内就末端了数百万好意思元的营收。咫尺，Y Combinator、Deepgram、Speaksage、Luma Health 和 Playn Voice 等知名企业已成为其客户。平台相沿 iOS、Flutter、React Native 和 Web 期骗轨范的集成，并提供功能调用智商，使语音 Agent 大概引申预约和及时数据检索等任务。(@Saasverse)

4、Cartesia 融资 2700 万好意思元，用于构建下一代及时 AI 模子

Cartesia 公司今天晓谕取得由 Index Ventures 领投的 2200 万好意思元新融资，其首创性的气象空间模子（SSM）正在引颈生成式东谈主工智能的下一波创新波澜，总融资额达到 2700 万好意思元。这笔新资金将使 Cartesia 大概膨胀并加快其在职何开荒上构建及时、多模态智能的职责。

Cartesia 的创始团队由一群了得的斯坦福大学磋磨东谈主员构成，其中包括 Goel、他的前实验室共事 Albert Gu（被《时间》杂志评比为东谈主工智能规模 100 位最具影响力东谈主物之一）、Arjun Desai 和 Brandon Yang，以及他们的前教悔 Chris Ré。该团队因其开发的 SSM 而享誉全球，位于一个充满才华的博士和学术合作伙伴的丰富生态系统中心，非凡是 Ré 的斯坦福实验室频年来一直是多个数十亿好意思元创业公司的温床，如 SambaNova、Snorkel AI 和 Together AI。他们还聚集了一支多元化且训诫丰富的居品团队，成员来自 DoorDash、Salesforce、Meta、Scale AI、Microsoft、Google Brain 和 Zoom 等知名公司，确保 Cartesia 能为各行业的企业带来实实在在的价值。

Cartesia 的 SSM 架构在性能上较着优于传统的 Transformer 模子，因为它大概与序列长度线性膨胀，末端高效、低本钱的推理。尽管 Transformer 模子透顶窜改了东谈主工智能的面目，并相沿了咱们今天所见的广阔期骗，但它们在高下文长度上的二次方膨胀截止了推理速率。相较之下，Cartesia 的模子高效且具备更好的弥远回顾和更低的蔓延，同期大概在职何开荒上土产货运行。与 Transformer 需要关心每一个当年的标志不同，SSM 在标志流入时会动态更新模子气象并丢弃之前的标志，这使其成为及时推理的想象选择。Cartesia 创始团队广为援用的 Mamba 架构解说，SSM 已能以更少的资源匹配 Transformer 的性能，为开发东谈主员提供了一种更高效、经济的及时东谈主工智能期骗开发决议。

2024 年 5 月，Cartesia 发布了 Sonic，这是一款低蔓延语音模子，大概生成裕如说明力、传神的语音，展示了其 SSM 架构在及时 AI 期骗中的刚劲功能。除了是速率最快的文本转语音模子（首个音频蔓延<90 毫秒）以外，在第三方评估机构（如 Labelbox）进行的盲测中，Sonic 在语音质料、踏实性和准确性方面均优于阛阓上现存的最好模子。

Cartesia 计划在其 Sonic 得胜的基础上，制定一项弥远道路图，其中包括开发大概接纳和科罚不同输入（举例文本、音频、视频、图像和时刻序列数据）的多模态 AI 模子，计算是创建大概在庸碌期骗中起初海量高下文进行推理的及时智能。通过构建具有弥远回顾和低蔓延的下一代基础模子，Cartesia 旨在窜改从医疗保健到机器东谈主时间再到游戏的各个行业，为任何东谈主在职何开荒上都能使用的无处不在的、交互式的和及时的 AI 铺平谈路。(@PRWEB)

03 有立场的不雅点

1、Discord 创始东谈主：AI 会大大缩小创作出好内容的本钱

近期，Discord 创始东谈主&CEO Jason Citron ，接受了著名播客 20VC 的访谈。在访谈中，Jason Citron 默示，Discord 的故事阐扬了「打造好居品，用户就会来」并不老是见效。而 Discord 用户增长的冲突点在于，邀请东谈主们对期骗提议反应，而不是像在倾销居品相同让他们尝试。

那时，Discord 的办当事人谈主员在 Reddit 的一篇贴子里，发了一个 Discord 服务器的相接。用户在看到帖子后，点进了 Discord ，然后和办当事人谈主员疏通，适用居品。Jason Citron 说，「那天咱们通过这个帖子取得了 50 个用户，第二天，这 50 个用户造成了 100 个，然后起初滚雪球式增长。」

当被问到「AI 如何窜改游戏创意」时，Jason Citron 默示，「我觉得 AI 会大大缩小创作出好内容的本钱」。

他觉得，以后像《艾尔登法环》这么的游戏，可能只需要 20 东谈主，而不是 300 东谈主来完成。AI 还会使得一些个东谈主开发者或零丁创作家大概制作出今天他们无法作念到的游戏，因为当今他们会面对制作周期太长和时间截止的问题。总之，「以后咱们会看到更多更微型、更高质料的游戏。」(@APPSO)

写在临了：

咱们宽待更多的小伙伴参与「RTE 开发者日报」内容的共创，感风趣的一又友请通过开发者社区或公众号留言干系，牢记报暗号「共创」。

关于任何反应（包括但不限于内容上、样式上）咱们不堪谢意、并有小惊喜回馈，举例你但愿从日报中看到哪些内容；我方保举的信源、名目、话题、步履等；或者列举几个你可爱看、平接续看的内容渠谈；内容排版或呈现样式上有哪些不错改进的地方等。

素材着手官方媒体/收集新闻kaiyun网址