Обзор технологий Yandex SpeechKit
Голосовые технологии Yandex SpeechKit помогают решить любую задачу, связанную с речью человека. SpeechKit может распознавать речь в режиме реального времени и из предварительно записанных аудиофайлов, автоматически определяя язык говорящего, а также озвучивать шаблонные фразы и развернутые тексты при помощи готовых голосов SpeechKit.
Распознавание и синтез речи можно проверить в разделе AI Speech интерфейса AI Studio. Для встраивания этих возможностей в приложение доступны API gRPC и REST. Подробнее о реализации API в Yandex Cloud читайте в разделе Концепции API Yandex Cloud.
Как выбрать технологию
Выберите путь в зависимости от результата, который требуется получить:
|
Задача |
С чего начать |
|
Преобразовать речь в текст, в том числе из аудиофайла или потока |
Для аудиофайла попробуйте распознавание в интерфейсе. Для интеграции в приложение или обработки речевого потока выберите способ распознавания через API. |
|
Озвучить готовый текст |
Попробуйте синтез в интерфейсе, изучите API синтеза или синтезируйте речь через Realtime API, если нужен потоковый вывод аудио. |
|
Создать приложение, которое ведет диалог, сохраняет его контекст и вызывает инструменты |
Изучите голосовых агентов, затем создайте агента в интерфейсе или подключите его через Realtime API. |
|
Самостоятельно управлять обработкой речи и логикой ответа |
Соедините распознавание и синтез в своем приложении. |
Для запросов к API распознавания и синтеза SpeechKit действуют правила тарификации SpeechKit. Синтез через Realtime API тарифицируется по правилам для модели Speech TTS Live. Стоимость голосового агента, включая обработку аудио, работу модели и инструментов, описана в правилах тарификации AI Studio.
Примеры использования
В таблице собраны распространенные сценарии использования SpeechKit и подходящие для них технологии.
| Описание | Рекомендуемые технологии | Возможности и настройки |
|---|---|---|
| Голосовой робот | ||
| Полная или частичная автоматизация телефонных коммуникаций с клиентами. | Для диалога с контекстом и инструментами: голосовой агент. Для приложения с собственной логикой обработки речи: потоковое распознавание и синтез с использованием готовых голосов или голосов Brand Voice. |
|
| Речевая аналитикаКонтроль качества работы операторов | ||
| Расшифровка и последующий анализ аудиозаписей диалогов клиентов с операторами или роботами. | Для распознавания предзаписанных аудиофайлов: асинхронное распознавание аудиофайлов. |
|
| Голосовое управление приложением и умными устройствами Голосовой ассистент | ||
| Пользователь запрашивает действие или поиск голосом, сервис отвечает действием с голосовым комментарием или картинкой. | Для диалога с контекстом и инструментами: голосовой агент. Для приложения с собственной логикой: потоковое распознавание и синтез с использованием готовых голосов или голосов Brand Voice. |
|
| Адаптация сервиса для людей с нарушениями зрения | ||
| Голосовое управление, голосовые подсказки и комментарии для людей с нарушениями зрения. | Для ввода запроса пользователем: потоковое распознавание. Для ответа системы: синтез с использованием готовых голосов и голосов Brand Voice. |
|
| Распознавание аудиозаписей встреч | ||
| Расшифровка аудиозаписей после окончания встречи. | Для распознавания предзаписанных аудиофайлов: асинхронное распознавание аудиофайлов. |
|
| Озвучивание книг и видео | ||
| Озвучивание книг и видео без привлечения живых дикторов. | Синтез речи с использованием готовых голосов и голосов Brand Voice. |
|
| Ведение протоколов совещаний | ||
| Расшифровка совещаний в режиме реального времени | Для распознавания речи участников: потоковое распознавание. |
|
| Субтитры к видео | ||
| Создание субтитров к записанным видео. | Для распознавания аудиодорожки: асинхронное распознавание аудиофайлов. |
|
| Субтитры к трансляции | ||
| Расшифровка трансляции в режиме реального времени. | Для распознавания речи в трансляции: потоковое распознавание. |
|
| Расшифровка голосовых сообщений | ||
| Перевод в текстовый вид коротких сообщений в мессенджерах. | Для распознавания аудио: синхронное распознавание файлов. | Настройки результатов распознавания. |