声网西宾行业讲求东说念主钱奋在 GET2024 共享

11 月 11 日至 12 日，芥末堆在北京举办以“新质学习力，通向更好意思好的西宾畴昔”为主题的 GET2024 西宾科技大会。在 11 日的首级论坛上，声网西宾行业讲求东说念主钱奋就《AI + RTE 运行西宾产物的颠覆式立异机遇》进行了主题共享。

以下为演讲实录，经剪辑：

熟悉声网的一又友知说念，声网不是一家西宾公司，而是一家全球化本领公司，咱们为全球的客户提供及时互动的本领决议，无礼他们对及时互动的需求。今天想跟众人共享 AI+RTE 及时互动本认知带来什么转变，高出是对西宾行业来说。

今天的演讲分为四个部分：

一、声网先容

二、生成式 AI 时间的趋势和发展标的

三、AI+RTE 催生西宾新机遇

四、声网 AI Agent 做事平台

一、声网先容

声网专注于 RTE 及时互动边界，是该边界的独创者，界说这个赛说念的玩法和业务，咱们还有独创全球及时互联网 SD-RTN。

当作 RTE 行业的携带者，声网的市集占有率稳居第一，咱们有 50 多项自主立异专利，全球注册运用数 74.2 万 +，单月因循通话分钟数 700 亿 +。

声网 RTE 图谱浮现，声网一经遮蔽 20+ 行业和 200+ 场景。和西宾关系的在线西宾的悉数场景，包括 1 对 1、小班课、大班课、AI 自习室、在线自习室，声网都有遮蔽到。

二、生成式 AI 时间的趋势和发展标的

AI 这两年发展极度快，为百行万企带来了许多变化，一些行业甚而受到了较大的冲击。在咱们看来，跟着 AI 发展，西宾行业是受益较多的行业。生成式 AI 到来之后，出现了几大趋势：

趋势一：结尾的进化将以对大模子的技艺支握为中枢运行。大模子对语音、及时图像、当然言语有极度强的连悉力，能使结尾和委派变得愈加当然和指令。以预订机票为例，传统的口头一步一步操作，关联词当手机酿成私东说念主助理，东说念主们敌手机说订未走动北京的机票，手机就会凭据日期和行程，径直推选航班。

趋势二：悉数软件都不错或将会用大模子再行破除。这亦然基于大模子本人极度高大的通用劲。悉数的软件不错依赖于大模子技艺，优化场景、功能。举一个例子，咫尺的一些 CRM 系统都有这么的技艺，不错精确分析悉数客户的府上，况且为销售东说念主员提供极度精确的销售计谋，从而大大提高销售效劳和客户无礼度。

趋势三：悉数云都需要具备对大模子考验和推理的技艺。悉数大模子考验和推理技艺需要多数的议论资源，云有天生的弹缩技艺，企业不错建树一些资源，并不需要购买极度奋发的实体资源，云会有极度好的数据安全合规技艺，甚而还不错对一些 AI 运用快速复兴。

趋势四：东说念主机界面从键盘、鼠标、触屏酿成当然言语对话界面（LUI）。众人不错赫然感受到，当年在与机器交流的时辰，都是通过图形、手机的触摸来破除，咫尺东说念主机交流不错通过对话式的语音来进行，真的面临东说念主与东说念主交互的指令。

在声网看来，生成式 AI 的发展中 OpenAI 带来了一定的导向性趋势。本年 5 月，GPT-4o 发布，上前迈了一大步，语音交互支握多语音，意味真的时语音交互是生成式 AI 畴昔的趋势标的。本年 10 月 OpenAI 发布及时 API 技艺，声网的昆仲公司 Agora 也参与了这一次发布，OpenAI 也官宣与 Agora 联接提供 API 技艺。

经过对 AI 的商讨，以及与 OpenAI 的合作，声网咫尺发现畴昔生成式 AI 有两个趋势、两大标的。

第一是大模子多模态技艺将会加快到来。大模子具备高度拟东说念主化特征，具备听、说、看、写、绘、念念的技艺。

第二是 RTE 成为多模态运用和基础挨次的关键部分。对话模式将成为多模态大模子的主要交互体式，包括对话式音频和对话式视频。

RTC 本领还有许多上风：

传输延时低：RTC 基于智能路由算法，全球网络遮蔽，破除毫秒级端到端多媒体传输蔓延，对比传统决议秒级蔓延，破除量级朝上进步。

支握全双工通讯：RTC 在低蔓延的基础上，通过回声摒除技艺、VAD 技艺（语活动检测）可破除及时指令的语音的双讲功能，使得交互愈加当然、指令。

弱网质料保险：RTC 通过弱网回击算法以及丢包抵偿机制，保证媒体传输质料清静，在极致弱网条目下也能保证通话质料，保险 ASR 识别率。

音频降噪后果好：RTC 具备熟识的降噪、动增益技艺和 ASR 本领不错深度配合，准确过滤配景音，精确识别声，进步语转翰墨的识别准确率。

高清视频传输：RTC 通说念在音视频及时传输经由中，对首帧出图、低卡顿、端到端延时筹划等均有较高的体验保险，支握多模态信拒却互。

三、AI+RTE 催生西宾新机遇

AI+RTE 本领正在催生西宾新机遇。多模态大模子与对话式交互结合，等于场景升级。老场景和老案例包括 AI 助教备课、AI 答疑 / 智能教唆、AI 点窜、个性化推选。

咱们看到许多 AI+ 西宾案例一经落地。AI 备课方面，教师通过输入一些学问点，就不错用 AI 大模子生成教案、课本，当年备课需要数个小时，咫尺只需要几分钟。

AI 智能教唆故意于学生找到正确谜底，也有助于本分给出好的教唆方法。我前两天看到一个家长拿手机拍孩子的功课，拍的时辰解题经由就一皆浮现出来了。此外还有 AI 作文点窜、英语陪练等场景。

AI+ 西宾是众人都想赢得的适度。通过学生画像、学问点、学生施展、收货，通过大模子的学情分析，为学生提供学习筹划、个性化学习方针、个性化训诫本体等等，亦然畴昔西宾但愿抵达的目的地。

同期咱们也看到了 AI+RTE 本领的新场景和新案例，包括 AI 白话陪练，这与众人结合的陪练不太通常，咫尺市面上大多数是对讲机模式的相通和进修，这并不是东说念主与东说念主之间的相通。如今，AI+RTE 一经不错模拟东说念主，破除不错随时打断的 AI 白话陪练场景，咱们一经有客户在提供这么的做事。还有 AI 助手同声传译和 AI 在线音乐学习，都需要 AI+RTE。

与 AI 和西宾关系的还有 AI 智能监护，也即是通过音视频不雅察孩子的施展，模拟家长的声息来跟随宝宝、监护宝宝。还有 AI 跟随学习机器东说念主，不错与三至六岁孩子及时互动，提供脸色跟随。

AI 讲故事亦然客户的案例，当年众人以为 AI 讲故事是 AI 对我讲，大要我对 AI 讲，而咫尺的 AI 讲故事是我讲一半，AI 讲一半，咱们共创一个故事，让通盘场景变得更丰富。

AI+RTE 在畴昔还会有极度多的新场景出现，场景将赢得很大的升级。

四、声网 AI Agent 做事平台

基于 AI+RTE 及时互动场景，声网推出了基于及时互动的 AI Agent 做事平台。

声网 AI Agent 是一套云边端一体的 PaaS 做事，聚焦及时音视频互动场景，结合市集上最优秀的模子技艺，充分施展声网音视频算法及 SD-RTN 的传输上风，助力中小客户快速搭建低蔓延、高可用的东说念主机交互运用，适用于泛文娱、西宾、企业合营等多个行业场景。

AI Agent 具备四大中枢上风，在体验和本钱方面进一步优化。

低蔓延：通过声网自研语音识别及照应本领，破除更细粒度的语音切割，智能体对话端到端蔓延低至 500ms，同声传译尾字到尾字蔓延

极致拟真：声网自研 AI VAD 本领，允洽东说念主类对话的停顿、口吻和对话节律，支握 AI 对话经由中随时打断，深度优化 AI 扮装，最猛进程保留脸色脸色等关键信息，语音合成音色更传神。

低本钱接入：许多西宾公司在研发参预上比拟严慎，这个决议本钱可控，客户无需单独部署推拉流做事，简便调用 Agent 接口，即可将智能体快速集成到客户的及时互动业务中，极地面镌汰了斥地和做事本钱。

业务高度生动：提供 20+ 音视频高等引擎及 AI 算法积木，客户可凭据业务需求，苟且拼插，同期支握通用模板和自界说模板建树。

这是声网的 RTE+AI 技艺全景图，咱们深信畴昔十年内，能用 RTE+AI 支握更多的场景，咱们也但愿更多的西宾客户与咱们共创场景。

这是声网咫尺合作的全球合作商，咱们但愿不错成为最受接待的及时互动云做事商。

本年是声网成立十周年，咱们恒久保握初心。咱们的愿景是匡助东说念主们朝上距离及时互动九游娱乐(China)官方网站，如聚一堂，咱们的责任是让及时互动像空气和水通常无处不在。