A–Z
Activation Function
Функция активации
Функция, определяющая выход нейрона на основе его входа. Используется для добавления нелинейности в модель.
Пример:
Где применяется: Все области нейронных сетей (NLP, CV, Audio, Video).
Функция активации
Функция, определяющая выход нейрона на основе его входа. Используется для добавления нелинейности в модель.
Пример:
ReLU(x) = max(0, x)
Где применяется: Все области нейронных сетей (NLP, CV, Audio, Video).
Attention
Механизм внимания
Механизм, позволяющий модели фокусироваться на наиболее значимых частях входных данных при генерации вывода.
Пример:
Механизм внимания
Механизм, позволяющий модели фокусироваться на наиболее значимых частях входных данных при генерации вывода.
Пример:
Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) V
Где применяется: NLP, CV, Generative AI.
Autoencoder
Автокодировщик
Нейросетевая архитектура, обучающаяся кодировать входные данные в представление с пониженной размерностью и восстанавливать их обратно.
Пример: Используется для снижения размерности, сжатия изображений.
Где применяется: CV, Audio, Anomaly Detection.
Автокодировщик
Нейросетевая архитектура, обучающаяся кодировать входные данные в представление с пониженной размерностью и восстанавливать их обратно.
Пример: Используется для снижения размерности, сжатия изображений.
Где применяется: CV, Audio, Anomaly Detection.
Backpropagation
Обратное распространение ошибки
Метод вычисления градиентов для обновления весов в нейросетях во время обучения.
Пример: Используется во всех типах обучения нейросетей.
Где применяется: Все области ИИ.
Обратное распространение ошибки
Метод вычисления градиентов для обновления весов в нейросетях во время обучения.
Пример: Используется во всех типах обучения нейросетей.
Где применяется: Все области ИИ.
Batch Normalization
Пакетная нормализация
Техника нормализации входов каждого слоя по мини-пакету, ускоряющая и стабилизирующая обучение.
Пример:
Где применяется: CV, NLP, GANs.
Пакетная нормализация
Техника нормализации входов каждого слоя по мини-пакету, ускоряющая и стабилизирующая обучение.
Пример:
BN(x) = γ * (x - μ) / σ + β
Где применяется: CV, NLP, GANs.
BLEU Score
Метрика BLEU
Метрика для оценки качества машинного перевода путем сравнения с эталонным переводом.
Пример: BLEU = 0.67 — высокая точность перевода.
Где применяется: NLP, Machine Translation.
Метрика BLEU
Метрика для оценки качества машинного перевода путем сравнения с эталонным переводом.
Пример: BLEU = 0.67 — высокая точность перевода.
Где применяется: NLP, Machine Translation.
Checkpoint
Контрольная точка
Сохранённое состояние модели в процессе обучения, которое можно восстановить.
Пример:
Где применяется: Все типы обучения.
Контрольная точка
Сохранённое состояние модели в процессе обучения, которое можно восстановить.
Пример:
model.load_state_dict(torch.load('checkpoint.pt'))
Где применяется: Все типы обучения.
CLIP
Contrastive Language–Image Pretraining
Архитектура от OpenAI, объединяющая изображение и текст в общее латентное пространство с помощью контрастного обучения.
Пример: Используется для мультимодальных запросов: «Покажи мне фото кошки на велосипеде».
Где применяется: CV, NLP, Multimodal AI.
Contrastive Language–Image Pretraining
Архитектура от OpenAI, объединяющая изображение и текст в общее латентное пространство с помощью контрастного обучения.
Пример: Используется для мультимодальных запросов: «Покажи мне фото кошки на велосипеде».
Где применяется: CV, NLP, Multimodal AI.
Convolutional Neural Network (CNN)
Сверточная нейронная сеть
Архитектура нейросети, ориентированная на обработку изображений через свёртки.
Пример: ResNet, VGG, LeNet.
Где применяется: CV, Video, Medical Imaging.
Сверточная нейронная сеть
Архитектура нейросети, ориентированная на обработку изображений через свёртки.
Пример: ResNet, VGG, LeNet.
Где применяется: CV, Video, Medical Imaging.
Cutoff Date
Дата среза
Дата, на которую нейросеть была обучена или знает информацию. После этой даты знание не обновляется.
Пример: Модель знает о событиях до сентября 2021.
Где применяется: NLP, LLMs.
Дата среза
Дата, на которую нейросеть была обучена или знает информацию. После этой даты знание не обновляется.
Пример: Модель знает о событиях до сентября 2021.
Где применяется: NLP, LLMs.
Dataset
Набор данных
Коллекция структурированных данных, используемая для обучения и тестирования моделей ИИ.
Пример: MNIST, COCO, LibriSpeech.
Где применяется: Все области.
Набор данных
Коллекция структурированных данных, используемая для обучения и тестирования моделей ИИ.
Пример: MNIST, COCO, LibriSpeech.
Где применяется: Все области.
Diffusion Model
Диффузионная модель
Тип генеративной модели, обучающейся пошагово удалять шум из случайного шума для генерации новых данных.
Пример: Stable Diffusion, DALL·E 2.
Где применяется: Generative AI, CV.
Диффузионная модель
Тип генеративной модели, обучающейся пошагово удалять шум из случайного шума для генерации новых данных.
Пример: Stable Diffusion, DALL·E 2.
Где применяется: Generative AI, CV.
Dropout
Метод Dropout
Регуляризация, временно отключающая нейроны в процессе обучения, чтобы предотвратить переобучение.
Пример:
Где применяется: NLP, CV, Audio.
Метод Dropout
Регуляризация, временно отключающая нейроны в процессе обучения, чтобы предотвратить переобучение.
Пример:
nn.Dropout(p=0.5)
Где применяется: NLP, CV, Audio.
Embedding
Встраивание (эмбеддинг)
Представление дискретных объектов (слов, токенов, изображений) в виде векторов в непрерывном пространстве.
Пример: Word2Vec, BERT embeddings.
Где применяется: NLP, Recommender Systems, CV.
Встраивание (эмбеддинг)
Представление дискретных объектов (слов, токенов, изображений) в виде векторов в непрерывном пространстве.
Пример: Word2Vec, BERT embeddings.
Где применяется: NLP, Recommender Systems, CV.
Epoch
Эпоха
Один полный проход по всему тренировочному набору данных при обучении модели.
Пример: Тренировка модели на 10 эпох.
Где применяется: Все типы обучения.
Эпоха
Один полный проход по всему тренировочному набору данных при обучении модели.
Пример: Тренировка модели на 10 эпох.
Где применяется: Все типы обучения.
Evaluation Metric
Метрика оценки
Численный показатель качества модели на тестовой выборке.
Пример: Accuracy, F1-score, PSNR.
Где применяется: Все области.
Метрика оценки
Численный показатель качества модели на тестовой выборке.
Пример: Accuracy, F1-score, PSNR.
Где применяется: Все области.
Fine-tuning
Дотюнинг / дообучение
Обучение предварительно обученной модели на конкретной задаче или домене.
Пример: Дообучение BERT на юридических текстах.
Где применяется: NLP, CV, Audio.
Дотюнинг / дообучение
Обучение предварительно обученной модели на конкретной задаче или домене.
Пример: Дообучение BERT на юридических текстах.
Где применяется: NLP, CV, Audio.
GAN (Generative Adversarial Network)
Генеративно-состязательная сеть
Архитектура, состоящая из генератора и дискриминатора, обучающихся друг против друга.
Пример: StyleGAN, BigGAN.
Где применяется: CV, Video, Deepfake, Art Generation.
Генеративно-состязательная сеть
Архитектура, состоящая из генератора и дискриминатора, обучающихся друг против друга.
Пример: StyleGAN, BigGAN.
Где применяется: CV, Video, Deepfake, Art Generation.
Gradient Clipping
Ограничение градиента
Техника, предотвращающая взрыв градиентов путём ограничения их нормы.
Пример:
Где применяется: NLP, RNN, LLMs.
Ограничение градиента
Техника, предотвращающая взрыв градиентов путём ограничения их нормы.
Пример:
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
Где применяется: NLP, RNN, LLMs.
Hallucination (AI)
Галлюцинация модели
Ситуация, когда модель генерирует неправдоподобную или недостоверную информацию.
Пример: LLM «придумывает» несуществующий факт.
Где применяется: LLMs, Generative AI.
Галлюцинация модели
Ситуация, когда модель генерирует неправдоподобную или недостоверную информацию.
Пример: LLM «придумывает» несуществующий факт.
Где применяется: LLMs, Generative AI.
Hyperparameter
Гиперпараметр
Параметр, устанавливаемый до обучения модели, влияющий на процесс обучения.
Пример: Learning rate, batch size, количество слоев.
Где применяется: Все модели.
Гиперпараметр
Параметр, устанавливаемый до обучения модели, влияющий на процесс обучения.
Пример: Learning rate, batch size, количество слоев.
Где применяется: Все модели.
Inference
Инференс (вывод)
Процесс применения обученной модели к новым данным для получения результата.
Пример:
Где применяется: Все области.
Инференс (вывод)
Процесс применения обученной модели к новым данным для получения результата.
Пример:
model.predict(input)
Где применяется: Все области.
Intelligent Guess
Интеллектуальное предположение
Оценочное или логически выведенное предположение модели в отсутствии точных данных.
Пример: LLM отвечает: «Вероятно, это происходит в США» при недостатке информации.
Где применяется: LLMs, Reasoning Systems.
Интеллектуальное предположение
Оценочное или логически выведенное предположение модели в отсутствии точных данных.
Пример: LLM отвечает: «Вероятно, это происходит в США» при недостатке информации.
Где применяется: LLMs, Reasoning Systems.
Latent Space
Латентное пространство
Векторное пространство скрытых признаков, в котором модель представляет входные данные.
Пример: Генерация изображений в StyleGAN на основе координат в латентном пространстве.
Где применяется: Generative AI, NLP, CV.
Латентное пространство
Векторное пространство скрытых признаков, в котором модель представляет входные данные.
Пример: Генерация изображений в StyleGAN на основе координат в латентном пространстве.
Где применяется: Generative AI, NLP, CV.
Layer Normalization
Нормализация по слою
Нормализация, применяемая ко входу слоя, особенно популярна в трансформерах.
Пример: Используется после self-attention блока.
Где применяется: NLP, Transformers.
Нормализация по слою
Нормализация, применяемая ко входу слоя, особенно популярна в трансформерах.
Пример: Используется после self-attention блока.
Где применяется: NLP, Transformers.
Mamba
Мамба (архитектура)
Современная архитектура нейросетей, использующая state space models (SSM), обеспечивая линейную сложность и высокую производительность на длинных последовательностях.
Пример: Используется в длинных временных рядах и NLP задачах с большим контекстом.
Где применяется: NLP, Time Series, LLMs.
Мамба (архитектура)
Современная архитектура нейросетей, использующая state space models (SSM), обеспечивая линейную сложность и высокую производительность на длинных последовательностях.
Пример: Используется в длинных временных рядах и NLP задачах с большим контекстом.
Где применяется: NLP, Time Series, LLMs.
Mean Squared Error (MSE)
Среднеквадратичная ошибка
Одна из метрик регрессии: среднее значение квадратов разностей между предсказанными и фактическими значениями.
Пример:
Где применяется: Regression, Time Series, Audio.
Среднеквадратичная ошибка
Одна из метрик регрессии: среднее значение квадратов разностей между предсказанными и фактическими значениями.
Пример:
mean((y_pred - y_true)**2)
Где применяется: Regression, Time Series, Audio.
Model Card
Паспорт модели
Документ, описывающий характеристики, ограничения, этические аспекты и целевое применение модели.
Пример: Model card BERT от Google включает: данные, задачи, лимиты, fairness.
Где применяется: Responsible AI, ML Documentation.
Паспорт модели
Документ, описывающий характеристики, ограничения, этические аспекты и целевое применение модели.
Пример: Model card BERT от Google включает: данные, задачи, лимиты, fairness.
Где применяется: Responsible AI, ML Documentation.
N-shot Learning
Обучение с N примерами
Подход к обучению, при котором модель обучается решать задачи, имея всего N примеров (n = 0, 1, несколько).
Пример: few-shot prompting в GPT.
Где применяется: LLMs, Meta-learning, NLP.
Обучение с N примерами
Подход к обучению, при котором модель обучается решать задачи, имея всего N примеров (n = 0, 1, несколько).
Пример: few-shot prompting в GPT.
Где применяется: LLMs, Meta-learning, NLP.
Normalization
Нормализация
Процесс масштабирования данных или параметров модели для ускорения обучения и повышения стабильности.
Пример: BatchNorm, LayerNorm.
Где применяется: Все области.
Нормализация
Процесс масштабирования данных или параметров модели для ускорения обучения и повышения стабильности.
Пример: BatchNorm, LayerNorm.
Где применяется: Все области.
Overfitting
Переобучение
Ситуация, при которой модель хорошо запоминает обучающие данные, но плохо обобщает на новых.
Пример: Слишком точные предсказания на тренировке, низкое качество на тесте.
Где применяется: Все модели.
Переобучение
Ситуация, при которой модель хорошо запоминает обучающие данные, но плохо обобщает на новых.
Пример: Слишком точные предсказания на тренировке, низкое качество на тесте.
Где применяется: Все модели.
Parameter
Параметр модели
Значения весов и смещений в нейросети, обучаемые в процессе обучения.
Пример: Веса линейного слоя:
Где применяется: Все архитектуры.
Параметр модели
Значения весов и смещений в нейросети, обучаемые в процессе обучения.
Пример: Веса линейного слоя:
W, b
Где применяется: Все архитектуры.
Prompt Engineering
Инжиниринг подсказок
Искусство и практика создания эффективных текстовых подсказок для управления поведением LLM.
Пример:
Где применяется: NLP, LLMs.
Инжиниринг подсказок
Искусство и практика создания эффективных текстовых подсказок для управления поведением LLM.
Пример:
"Ты эксперт по праву. Ответь кратко..."
Где применяется: NLP, LLMs.
Quantization
Квантование модели
Преобразование весов и активаций модели из float32 в int8 или float16 для уменьшения размера и ускорения вывода.
Пример: INT8-квантование модели GPTQ.
Где применяется: Model Deployment, Edge AI.
Квантование модели
Преобразование весов и активаций модели из float32 в int8 или float16 для уменьшения размера и ускорения вывода.
Пример: INT8-квантование модели GPTQ.
Где применяется: Model Deployment, Edge AI.
RetNet
Retentive Network
Альтернатива трансформерам, использующая повторяющееся удержание состояний (retention), что обеспечивает стабильность и масштабируемость.
Пример: Поддержка длинного контекста без self-attention.
Где применяется: NLP, Time Series.
Retentive Network
Альтернатива трансформерам, использующая повторяющееся удержание состояний (retention), что обеспечивает стабильность и масштабируемость.
Пример: Поддержка длинного контекста без self-attention.
Где применяется: NLP, Time Series.
Safety Alignment
Выравнивание с безопасностью
Процессы и методы, направленные на то, чтобы поведение ИИ соответствовало этическим нормам и безопасности.
Пример: RLHF, фильтрация токсичных ответов.
Где применяется: Responsible AI, LLMs.
Выравнивание с безопасностью
Процессы и методы, направленные на то, чтобы поведение ИИ соответствовало этическим нормам и безопасности.
Пример: RLHF, фильтрация токсичных ответов.
Где применяется: Responsible AI, LLMs.
Temperature
Температура генерации
Параметр, регулирующий случайность генерации в вероятностных моделях. Чем выше, тем разнообразнее.
Пример:
Где применяется: Generative AI, NLP.
Температура генерации
Параметр, регулирующий случайность генерации в вероятностных моделях. Чем выше, тем разнообразнее.
Пример:
temperature=0.7 для GPT.
Где применяется: Generative AI, NLP.
Transformer
Трансформер
Архитектура нейросетей на основе self-attention, заменившая RNN в NLP и CV.
Пример: GPT, BERT, ViT.
Где применяется: NLP, CV, Audio.
Трансформер
Архитектура нейросетей на основе self-attention, заменившая RNN в NLP и CV.
Пример: GPT, BERT, ViT.
Где применяется: NLP, CV, Audio.
Zero-shot Learning
Нулевой выстрел (обучение без примеров)
Способность модели решать новую задачу без явного обучения на примерах этой задачи.
Пример: GPT-4 решает задачу на испанском без примеров.
Где применяется: LLMs, NLP, Multi-task Learning.
Нулевой выстрел (обучение без примеров)
Способность модели решать новую задачу без явного обучения на примерах этой задачи.
Пример: GPT-4 решает задачу на испанском без примеров.
Где применяется: LLMs, NLP, Multi-task Learning.
А–Я
Активация
Activation
Значение, вычисляемое после применения функции активации к выходу нейрона. Используется для введения нелинейности.
Пример: ReLU, Sigmoid, Tanh.
Где применяется: Все архитектуры.
Activation
Значение, вычисляемое после применения функции активации к выходу нейрона. Используется для введения нелинейности.
Пример: ReLU, Sigmoid, Tanh.
Где применяется: Все архитектуры.
Архитектура
Architecture
Структура и организация слоёв в нейросети, включая их типы и порядок соединений.
Пример: CNN, Transformer, Mamba, RetNet.
Где применяется: Все области ИИ.
Architecture
Структура и организация слоёв в нейросети, включая их типы и порядок соединений.
Пример: CNN, Transformer, Mamba, RetNet.
Где применяется: Все области ИИ.
Батч
Batch
Набор примеров, обрабатываемых одновременно на одной итерации обучения модели.
Пример: batch_size = 32
Где применяется: Обучение нейросетей, NLP, CV.
Batch
Набор примеров, обрабатываемых одновременно на одной итерации обучения модели.
Пример: batch_size = 32
Где применяется: Обучение нейросетей, NLP, CV.
Внимание
Attention
Механизм, позволяющий модели фокусироваться на релевантных частях входа при генерации вывода.
Пример: Self-Attention в трансформерах.
Где применяется: NLP, CV, Audio.
Attention
Механизм, позволяющий модели фокусироваться на релевантных частях входа при генерации вывода.
Пример: Self-Attention в трансформерах.
Где применяется: NLP, CV, Audio.
Дата среза
Cutoff Date
Дата, до которой модель имеет знания о мире. После этой даты данные не включаются в её обучение.
Пример: Cutoff: июнь 2024 — означает, что данные после этой даты неизвестны модели.
Где применяется: LLMs, AI Awareness.
Cutoff Date
Дата, до которой модель имеет знания о мире. После этой даты данные не включаются в её обучение.
Пример: Cutoff: июнь 2024 — означает, что данные после этой даты неизвестны модели.
Где применяется: LLMs, AI Awareness.
Интеллектуальное предположение
Reasoned Guess / Intuition
Способность модели делать логические догадки в условиях неполных данных на основе контекста.
Пример: Модель предсказывает фамилию автора по стилю текста.
Где применяется: LLMs, NLP.
Reasoned Guess / Intuition
Способность модели делать логические догадки в условиях неполных данных на основе контекста.
Пример: Модель предсказывает фамилию автора по стилю текста.
Где применяется: LLMs, NLP.
Квантизация
Quantization
Процесс уменьшения разрядности чисел в модели для снижения ресурсоёмкости.
Пример: Перевод float32 → int8.
Где применяется: Edge AI, мобильные устройства.
Quantization
Процесс уменьшения разрядности чисел в модели для снижения ресурсоёмкости.
Пример: Перевод float32 → int8.
Где применяется: Edge AI, мобильные устройства.
Маскирование
Masking
Метод скрытия информации при обучении или генерации, чтобы предотвратить утечку будущих значений.
Пример: Causal Mask в GPT.
Где применяется: NLP, Transformers.
Masking
Метод скрытия информации при обучении или генерации, чтобы предотвратить утечку будущих значений.
Пример: Causal Mask в GPT.
Где применяется: NLP, Transformers.
Обобщающая способность
Generalization
Способность модели применять полученные знания к новым, ранее не виденным данным.
Пример: Высокое качество на тестовой выборке.
Где применяется: Все модели.
Generalization
Способность модели применять полученные знания к новым, ранее не виденным данным.
Пример: Высокое качество на тестовой выборке.
Где применяется: Все модели.
Переобучение
Overfitting
См. раздел A–Z: Overfitting.
Overfitting
См. раздел A–Z: Overfitting.
Температура
Temperature
См. раздел A–Z: Temperature.
Temperature
См. раздел A–Z: Temperature.
Функция потерь
Loss Function
Метрика, определяющая, насколько предсказания модели далеки от целевых значений. Используется для обучения модели.
Пример: CrossEntropyLoss, MSE.
Где применяется: Все направления ML.
Loss Function
Метрика, определяющая, насколько предсказания модели далеки от целевых значений. Используется для обучения модели.
Пример: CrossEntropyLoss, MSE.
Где применяется: Все направления ML.
Холлцинация
Hallucination
Явление, при котором модель генерирует убедительные, но ложные или вымышленные ответы.
Пример: LLM придумывает несуществующие факты при генерации текста.
Где применяется: LLMs, NLP, QA-системы.
Hallucination
Явление, при котором модель генерирует убедительные, но ложные или вымышленные ответы.
Пример: LLM придумывает несуществующие факты при генерации текста.
Где применяется: LLMs, NLP, QA-системы.
Цепочка рассуждений
Chain of Thought
Техника, позволяющая моделям поэтапно формировать рассуждения и выводы, улучшая точность вывода.
Пример: Пошаговое решение задачи в формате "Сначала... затем... итак...".
Где применяется: NLP, Reasoning, LLMs.
Chain of Thought
Техника, позволяющая моделям поэтапно формировать рассуждения и выводы, улучшая точность вывода.
Пример: Пошаговое решение задачи в формате "Сначала... затем... итак...".
Где применяется: NLP, Reasoning, LLMs.
Чат-агент
Chat Agent
Программный агент на базе LLM, взаимодействующий с пользователями в диалоговом формате, способный к памяти, поиску, планированию и действиям.
Пример: ChatGPT, Claude, Gemini, искусственный агент в браузере.
Где применяется: Виртуальные помощники, ассистенты, автономные агенты.
Chat Agent
Программный агент на базе LLM, взаимодействующий с пользователями в диалоговом формате, способный к памяти, поиску, планированию и действиям.
Пример: ChatGPT, Claude, Gemini, искусственный агент в браузере.
Где применяется: Виртуальные помощники, ассистенты, автономные агенты.
Шаг градиента
Gradient Step
Один цикл обновления параметров модели на основе вычисленного градиента ошибки.
Пример: SGD делает шаг в направлении антиградиента функции потерь.
Где применяется: Обучение нейросетей.
Gradient Step
Один цикл обновления параметров модели на основе вычисленного градиента ошибки.
Пример: SGD делает шаг в направлении антиградиента функции потерь.
Где применяется: Обучение нейросетей.
Ядро свёртки
Convolutional Kernel
Небольшая матрица весов, используемая в свёрточных слоях для извлечения признаков из входного изображения.
Пример: 3x3 ядро, скользящее по изображению.
Где применяется: Computer Vision, CNN.
Convolutional Kernel
Небольшая матрица весов, используемая в свёрточных слоях для извлечения признаков из входного изображения.
Пример: 3x3 ядро, скользящее по изображению.
Где применяется: Computer Vision, CNN.
Язык подсказок
Prompt Language
Способ и структура написания подсказки (prompt), используемой для взаимодействия с генеративной моделью.
Пример: Zero-shot / few-shot prompts, инструкции в стиле system message.
Где применяется: NLP, LLMs, Generative AI.
Prompt Language
Способ и структура написания подсказки (prompt), используемой для взаимодействия с генеративной моделью.
Пример: Zero-shot / few-shot prompts, инструкции в стиле system message.
Где применяется: NLP, LLMs, Generative AI.