Дообучить модель генерации текста

pip install yandex-ai-studio-sdk
        

#!/usr/bin/env python3
        
        from __future__ import annotations
        
        import os
        import pathlib
        
        from yandex_ai_studio_sdk import AIStudio
        from yandex_ai_studio_sdk.exceptions import DatasetValidationError
        
        YANDEX_API_KEY = os.environ["YANDEX_API_KEY"]
        YANDEX_FOLDER_ID = os.environ["YANDEX_FOLDER_ID"]
        YANDEX_DATASET_FILE = os.environ["YANDEX_DATASET_FILE"]
        
        
        def main() -> None:
        
            sdk = AIStudio(
                folder_id=YANDEX_FOLDER_ID,
                auth=YANDEX_API_KEY,
            )
        
            # Так можно посмотреть список всех ранее загруженных датасетов
            for dataset in sdk.datasets.list():
                print(f"List of existing datasets {dataset=}")
        
            # Так можно удалить все ранее загруженные датасеты
            #for dataset in sdk.datasets.list():
            #    dataset.delete()
        
            # Создаем датасет для дообучения базовой модели YandexGPT Lite
            dataset_draft = sdk.datasets.draft_from_path(
                task_type="TextToTextGeneration",
                path=YANDEX_DATASET_FILE,
                upload_format="jsonlines",
                name="YandexGPT Lite tuning",
            )
        
            # Дождемся окончания загрузки данных и создания датасета
            operation = dataset_draft.upload_deferred()
            tuning_dataset = operation.wait()
            print(f"new {tuning_dataset=}")
        
        if __name__ == "__main__":
            main()
        

python3 dataset-create.py
        

new tuning_dataset=Dataset(id='fdsv21bmp09v********', folder_id='b1gt6g8ht345********', name=
        'YandexGPT Lite tuning', description=None, metadata=None, created_by='ajegtlf2q28a********', 
        created_at=datetime.datetime(2025, 3, 12, 19, 31, 44), updated_at=datetime.datetime(2025, 3, 
        12, 19, 32, 20), labels=None, allow_data_logging=False, status=<DatasetStatus.READY: 3>, 
        task_type='TextToTextGeneration', rows=3, size_bytes=3514, validation_errors=())
        

#!/usr/bin/env python3
        
        from __future__ import annotations
        import pathlib
        import uuid
        from yandex_ai_studio_sdk import AIStudio
        
        
        def main():
            sdk = AIStudio(
                folder_id="<идентификатор_каталога>",
                auth="<API-ключ>",
            )
        
            # Посмотрим список датасетов, прошедших валидацию
            for dataset in sdk.datasets.list(status="READY", name_pattern="completions"):
                print(f"List of existing datasets {dataset=}")
        
            # Зададим датасет для обучения и базовую модель
            train_dataset = sdk.datasets.get("<идентификатор_датасета>")
            base_model = sdk.models.completions("yandexgpt-lite")
        
            # Запускаем дообучение
            # Дообучение может длиться до нескольких часов
            tuned_model = base_model.tune(
                train_dataset, name=str(uuid.uuid4()), n_samples=10000
            )
            print(f"Resulting {tuned_model}")
        
            # Можно обратиться к дообученной модели с помощью метода run()
            completion_result = tuned_model.run("Привет!")
            print(f"{completion_result=}")
        
            # А можно сохранить URI дообученной модели
            # И вызывать дообученную модель по URI
            tuned_uri = tuned_model.uri
            model = sdk.models.completions(tuned_uri)
            completion_result = model.run("Как дела?")
            print(f"{completion_result=}")
        
        
        if __name__ == "__main__":
            main()
        

python3 start-tuning.py
        

Resulting GPTModel(uri=gpt://b1gt6g8ht345********/yandexgpt-lite/latest@tamrmgia22979********, 
        config=GPTModelConfig(temperature=None, max_tokens=None, reasoning_mode=None, response_format=None))
        completion_result=GPTModelResult(alternatives=(Alternative(role='assistant', text='Привет! Как дела?', 
        status=<AlternativeStatus.FINAL: 3>),), usage=Usage(input_text_tokens=12, completion_tokens=5, 
        total_tokens=17), model_version='23.10.2024')
        completion_result=GPTModelResult(alternatives=(Alternative(role='assistant', text='Здравствуйте! У меня 
        все хорошо, спасибо. Как ваши дела?', status=<AlternativeStatus.FINAL: 3>),), usage=Usage
        (input_text_tokens=13, completion_tokens=13, total_tokens=26), model_version='23.10.2024')
        

metrics_url = new_model.get_metrics_url()
        download_tensorboard(metrics_url)