Отправить асинхронный запрос

Чтобы воспользоваться примерами запросов с использованием SDK:

1. Создайте сервисный аккаунт и назначьте ему роль ai.languageModels.user.

2. Получите и сохраните API-ключ сервисного аккаунта, указав для него область действия yc.ai.foundationModels.execute.

   В примерах используется аутентификация с помощью API-ключа. Yandex AI Studio SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex AI Studio SDK.

   Примечание

   Если вы используете ОС Windows, рекомендуем предварительно установить оболочку WSL и выполнять дальнейшие действия в этой оболочке.

3. Установите Python версии 3.10 или выше.

4. (Опционально) Установите библиотеку Python venv для создания изолированных виртуальных окружений в Python.

5. (Опционально) Создайте и войдите в новое виртуальное окружение Python:

   python3 -m venv new-env
           source new-env/bin/activate
           

6. С помощью менеджера пакетов pip установите библиотеку AI SDK:

   pip install yandex-ai-studio-sdk
           

При использовании Yandex AI Studio SDK ваш код может дождаться завершения выполнения операции и получения ответа. Для этого можно использовать либо функцию sleep модуля time, либо метод wait. В приведенном примере последовательно используются оба эти способа.

1. Создайте файл generate-deferred.py и добавьте в него следующий код:

   #!/usr/bin/env python3
           
           from __future__ import annotations
           import time
           from yandex_ai_studio_sdk import AIStudio
           
           messages_1 = [
               {
                   "role": "system",
                   "text": "Найди ошибки в тексте и исправь их",
               },
               {
                   "role": "user",
                   "text": """Ламинат подойдет для укладке на кухне или в детской 
           комнате – он не боиться влаги и механических повреждений благодаря 
           защитному слою из облицованных меламиновых пленок толщиной 0,2 мм и 
           обработанным воском замкам.""",
               },
           ]
           
           messages_2 = [
               {"role": "system", "text": "Найди ошибки в тексте и исправь их"},
               {"role": "user", "text": "Ашипки саме сибя ни исрпвят."},
           ]
           
           
           def main():
           
               sdk = AIStudio(
                   folder_id="<идентификатор_каталога>",
                   auth="<API-ключ>",
               )
           
               model = sdk.models.completions("yandexgpt")
           
               # Variant 1: wait for the operation to complete using 5-second sleep periods
           
               print("Variant 1:")
           
               operation = model.configure(temperature=0.5).run_deferred(messages_1)
           
               status = operation.get_status()
               while status.is_running:
                   time.sleep(5)
                   status = operation.get_status()
           
               result = operation.get_result()
               print(result)
           
               # Variant 2: wait for the operation to complete using the wait method
           
               print("Variant 2:")
           
               operation = model.run_deferred(messages_2)
           
               result = operation.wait()
               print(result)
           
           
           if __name__ == "__main__":
               main()
           

   Где:

   Примечание

   В качестве входных данных для запроса Yandex AI Studio SDK может принимать строку, словарь, объект класса TextMessage или массив, содержащий любое сочетание указанных типов данных. Подробнее см. в разделе Использование Yandex AI Studio SDK.

   • messages_1 и messages_2 — массивы сообщений, которые задают контекст для модели и используются для разных способов получения результата выполнения асинхронного запроса:

     • role — роль отправителя сообщения:

       • user — предназначена для отправки пользовательских сообщений к модели.
       • system — позволяет задать контекст запроса и определить поведение модели.
       • assistant — используется для ответов, которые генерирует модель. При работе в режиме чата ответы модели, помеченные ролью assistant, включаются в состав сообщения для сохранения контекста беседы. Не передавайте сообщения пользователя с этой ролью.

   • text — текстовое содержимое сообщения.

   • YANDEX_FOLDER_ID — идентификатор каталога сервисного аккаунта.

   • YANDEX_API_KEY — API-ключ для работы в AI Studio.

   • YANDEX_TUNING_SUFFIX — суффикс дообучения модели.

     В примерах используется аутентификация с помощью API-ключа. Yandex AI Studio SDK также поддерживает аутентификацию с помощью IAM-токена и OAuth-токена. Подробнее см. в разделе Аутентификация в Yandex AI Studio SDK.

   Подробнее о том, как обращаться к определенной версии модели, см. в разделе {#T}.

2. Выполните созданный файл:

   python3 generate-deferred.py
           

   Результат:

   Variant 1:
           GPTModelResult(alternatives=(Alternative(role='assistant', text='Ламинат подойдет для укладки на кухне или в детской комнате – он не боится влаги и механических повреждений благодаря защитному слою из облицованных меламиновых пленок толщиной 0,2 мм и обработанным воском замкам.', status=<AlternativeStatus.FINAL: 3>),), usage=Usage(input_text_tokens=74, completion_tokens=46, total_tokens=120), model_version='23.10.2024')
           Variant 2:
           GPTModelResult(alternatives=(Alternative(role='assistant', text='Ошибки сами себя не исправят.\n\nАшипки → ошибки.', status=<AlternativeStatus.FINAL: 3>),), usage=Usage(input_text_tokens=32, completion_tokens=16, total_tokens=48), model_version='23.10.2024')
           

   Код дожидается получения результата сначала для первого способа, затем — для второго.