A - Z
Activation Function (Функция активации)
Определение: Математическая функция, применяемая к выходу нейрона для введения нелинейности в модель. Позволяет нейросети учиться сложным зависимостям.
Примеры использования: ReLU, Sigmoid, Tanh. В коде PyTorch:
torch.nn.ReLU().Область использования: Все типы нейросетей, включая NLP, Computer Vision, Audio Processing.
Attention Mechanism (Механизм внимания)
Определение: Метод, позволяющий модели фокусироваться на наиболее значимых частях входных данных при генерации выхода, улучшая качество обработки последовательностей.
Примеры использования: Transformer, BERT, GPT используют attention для обработки текста.
Область использования: NLP, Computer Vision, Speech Recognition, Generative AI.
Augmentation (Аугментация)
Определение: Техника искусственного расширения обучающего набора данных путем создания модифицированных копий исходных данных (например, повороты, шум, сдвиги).
Примеры использования: В компьютерном зрении: повороты, отражения изображений; в аудио — добавление шума.
Область использования: Computer Vision, Audio Processing, NLP (например, синонимизация).
Backpropagation (Обратное распространение ошибки)
Определение: Алгоритм вычисления градиентов для обновления весов нейросети на основе ошибки предсказания.
Примеры использования: Используется при обучении всех типов нейросетей с помощью градиентного спуска.
Область использования: Все виды нейросетей и моделей машинного обучения.
Batch Normalization (Пакетная нормализация)
Определение: Техника нормализации входов каждого слоя нейросети для ускорения и стабилизации обучения.
Примеры использования: Добавляется после сверточных или полносвязных слоев в CNN и других архитектурах.
Область использования: Computer Vision, NLP, Deep Learning.
Beam Search (Поиск луча)
Определение: Алгоритм поиска наиболее вероятных последовательностей при генерации текста или речи, сохраняющий несколько лучших кандидатов на каждом шаге.
Примеры использования: Генерация текста в языковых моделях, машинный перевод.
Область использования: NLP, Speech Synthesis.
Bias (Смещение)
Определение: Параметр нейрона, добавляемый к сумме взвешенных входов, позволяющий модели сдвигать функцию активации для лучшего обучения.
Примеры использования: В любом слое нейросети:
y = Wx + b, где b — bias.Область использования: Все архитектуры нейросетей.
Clip (Обрезка градиентов)
Определение: Метод ограничения величины градиентов для предотвращения их взрывного роста во время обучения.
Примеры использования: В PyTorch:
torch.nn.utils.clip_grad_norm_().Область использования: Обучение RNN, Transformer и других моделей с длинными зависимостями.
Convolutional Neural Network (CNN) (Свёрточная нейронная сеть)
Определение: Архитектура нейросети, использующая свёртки для эффективной обработки изображений и других структурированных данных.
Примеры использования: Классификация изображений, детекция объектов, сегментация.
Область использования: Computer Vision, Video Processing.
Cross-Entropy Loss (Функция потерь кросс-энтропии)
Определение: Функция потерь, измеряющая разницу между предсказанным распределением вероятностей и истинной меткой класса.
Примеры использования: Задачи классификации в NLP и CV.
Область использования: NLP, Computer Vision, Speech Recognition.
Data Augmentation (Аугментация данных)
Определение: Техника расширения обучающего набора данных путем создания новых примеров на основе существующих с помощью трансформаций.
Примеры использования: В изображениях — повороты, масштабирование; в аудио — изменение скорости.
Область использования: Computer Vision, Audio, NLP.
Dataset (Датасет)
Определение: Набор данных, используемый для обучения, валидации или тестирования моделей.
Примеры использования: ImageNet для изображений, LibriSpeech для аудио, Wikipedia для текстов.
Область использования: Все области AI.
Denoising (Удаление шума)
Определение: Процесс очистки данных от шума с целью улучшения качества модели и результатов генерации.
Примеры использования: Denoising Autoencoders, Stable Diffusion с параметром Denoising Strength.
Область использования: Computer Vision, Audio Processing, Generative AI.
Dropout (Случайное отключение нейронов)
Определение: Регуляризационная техника, при которой случайно "выключаются" нейроны во время обучения для предотвращения переобучения.
Примеры использования: В слоях нейросети:
torch.nn.Dropout(p=0.5).Область использования: Все типы нейросетей.
Embedding (Эмбеддинг)
Определение: Векторное представление объектов (слов, изображений, звуков), позволяющее моделям работать с ними как с числовыми данными.
Примеры использования: Word2Vec, GloVe, BERT embeddings для текста.
Область использования: NLP, Computer Vision, Audio.
Epoch (Эпоха)
Определение: Один полный проход всего обучающего датасета через модель во время обучения.
Примеры использования: Обучение модели на 10 эпохах.
Область использования: Все виды машинного обучения и нейросетей.
Fine-tuning (Дообучение)
Определение: Процесс дополнительного обучения предобученной модели на специфическом датасете для улучшения качества в целевой задаче.
Примеры использования: Дообучение GPT на специализированных текстах.
Область использования: NLP, Computer Vision, Audio.
Generative Adversarial Network (GAN) (Генеративно-состязательная сеть)
Определение: Архитектура из двух нейросетей — генератора и дискриминатора, которые обучаются совместно для создания реалистичных данных.
Примеры использования: Генерация изображений, видео, аудио.
Область использования: Generative AI, Computer Vision, Audio.
Gradient Descent (Градиентный спуск)
Определение: Метод оптимизации, при котором параметры модели обновляются в направлении уменьшения функции потерь по градиенту.
Примеры использования: SGD, Adam, RMSProp — разновидности градиентного спуска.
Область использования: Все виды машинного обучения и нейросетей.
Inference (Инференс, вывод)
Определение: Процесс применения обученной модели для получения предсказаний на новых данных.
Примеры использования: Генерация текста ChatGPT, распознавание объектов на изображении.
Область использования: Все области AI.
Intelligent Guess (Интеллектуальное предположение)
Определение: Способность модели делать обоснованные предположения на основе неполной или неоднозначной информации.
Примеры использования: Автодополнение текста, генерация ответов в чат-ботах.
Область использования: NLP, Generative AI.
Learning Rate (Скорость обучения)
Определение: Гиперпараметр, определяющий размер шага обновления весов модели во время обучения.
Примеры использования: В оптимизаторах:
optimizer = torch.optim.Adam(model.parameters(), lr=0.001).Область использования: Все виды нейросетей и машинного обучения.
Loss Function (Функция потерь)
Определение: Математическая функция, измеряющая ошибку между предсказанием модели и истинным значением.
Примеры использования: Cross-Entropy, MSE, Hinge Loss.
Область использования: Все типы машинного обучения.
Masking (Маскирование)
Определение: Техника скрытия определённых элементов входных данных для предотвращения их влияния на модель, часто используется в трансформерах.
Примеры использования: Маскирование будущих слов при генерации текста (causal masking).
Область использования: NLP, Transformer.
Mamba (Мамба)
Определение: Современная архитектура нейросети, ориентированная на эффективное обучение и генерацию, сочетающая преимущества Transformer и других подходов.
Примеры использования: Используется в исследовательских моделях для NLP и мультизадачности.
Область использования: NLP, Generative AI.
Mask R-CNN (Маск R-CNN)
Определение: Расширение архитектуры Faster R-CNN для сегментации объектов с выделением масок.
Примеры использования: Сегментация объектов на изображениях и видео.
Область использования: Computer Vision.
Multimodal Model (Мультимодальная модель)
Определение: Нейросеть, способная одновременно обрабатывать и объединять различные типы данных — текст, изображения, аудио, видео.
Примеры использования: CLIP, DALL·E, GPT-4 multimodal.
Область использования: Generative AI, Multimodal AI.
N-gram (N-грамма)
Определение: Последовательность из N элементов (слов, символов) в тексте, используемая для статистического анализа языка.
Примеры использования: Модели на основе N-грамм для предсказания следующего слова.
Область использования: NLP.
Neural Network (Нейросеть)
Определение: Модель машинного обучения, вдохновленная структурой человеческого мозга, состоящая из взаимосвязанных нейронов, способная учиться на данных.
Примеры использования: Классификация изображений, обработка текста, генерация аудио.
Область использования: Все области AI.
Overfitting (Переобучение)
Определение: Состояние модели, при котором она слишком точно запоминает обучающие данные и плохо обобщает на новые.
Примеры использования: Использование регуляризации и Dropout для борьбы с переобучением.
Область использования: Все виды машинного обучения.
Prompt (Промпт)
Определение: Ввод пользователя или команда, на основе которой языковая модель генерирует ответ или текст.
Примеры использования: Ввод текста в ChatGPT для получения ответа.
Область использования: NLP, Generative AI.
Recurrent Neural Network (RNN) (Рекуррентная нейронная сеть)
Определение: Архитектура нейросети, способная обрабатывать последовательные данные с учётом контекста предыдущих элементов.
Примеры использования: Обработка текста, речи, временных рядов.
Область использования: NLP, Speech Recognition.
Regularization (Регуляризация)
Определение: Методы, направленные на предотвращение переобучения модели путем ограничения сложности модели.
Примеры использования: L1, L2-регуляризация, Dropout.
Область использования: Все виды машинного обучения.
RetNet (РетНет)
Определение: Архитектура нейросети, оптимизированная для эффективного обучения и вывода, с улучшенной обработкой последовательностей.
Примеры использования: Используется в современных NLP-моделях для ускорения обучения.
Область использования: NLP, Generative AI.
Self-Attention (Самовнимание)
Определение: Механизм внимания, при котором элементы последовательности взаимодействуют друг с другом для вычисления взвешенных представлений.
Примеры использования: В архитектуре Transformer.
Область использования: NLP, Computer Vision.
Temperature (Температура)
Определение: Параметр, управляющий степенью случайности в генерации текста или других данных моделью.
Примеры использования: В языковых моделях: при температуре 0 — детерминированный вывод, при >1 — более разнообразный.
Область использования: NLP, Generative AI.
Transformer (Трансформер)
Определение: Архитектура нейросети, основанная на механизме внимания, позволяющая эффективно обрабатывать последовательные данные без рекуррентных слоев.
Примеры использования: BERT, GPT, T5.
Область использования: NLP, Computer Vision, Audio.
Training (Обучение)
Определение: Процесс настройки параметров модели на основе обучающих данных для минимизации функции потерь.
Примеры использования: Обучение нейросети на GPU с использованием оптимизаторов.
Область использования: Все области AI.
Transfer Learning (Трансферное обучение)
Определение: Использование знаний, полученных при обучении одной модели, для ускорения обучения другой модели на смежной задаче.
Примеры использования: Дообучение предобученной модели на новом датасете.
Область использования: NLP, Computer Vision.
Validation Set (Валидационный набор)
Определение: Набор данных, используемый для оценки качества модели во время обучения и настройки гиперпараметров.
Примеры использования: Отделение части данных от обучающего датасета для валидации.
Область использования: Все виды машинного обучения.
Zero-shot Learning (Обучение без примеров)
Определение: Способность модели выполнять задачи, не видя примеров из целевого класса во время обучения.
Примеры использования: GPT-3 генерирует ответы на темы, не встречавшиеся в обучении.
Область использования: NLP, Generative AI.
А - Я
Активационная функция (Activation Function)
Определение: Математическая функция, применяемая к выходу нейрона для введения нелинейности в модель, что позволяет нейросети учиться сложным зависимостям.
Примеры использования: ReLU, Sigmoid, Tanh. В коде PyTorch:
torch.nn.ReLU().Область использования: Все типы нейросетей, включая NLP, компьютерное зрение, обработку аудио.
Аугментация (Augmentation)
Определение: Техника искусственного расширения обучающего набора данных путем создания модифицированных копий исходных данных (например, повороты, шум, сдвиги).
Примеры использования: В компьютерном зрении: повороты, отражения изображений; в аудио — добавление шума.
Область использования: Компьютерное зрение, аудио, NLP (например, синонимизация).
Безопасность ИИ (AI Safety)
Определение: Совокупность методов и практик, направленных на предотвращение вредных и нежелательных последствий при использовании искусственного интеллекта.
Примеры использования: Контроль генерации токсичного контента, защита от атак на модели.
Область использования: Все области AI, особенно Generative AI и ответственные системы.
Валидационный набор (Validation Set)
Определение: Набор данных, используемый для оценки качества модели во время обучения и настройки гиперпараметров.
Примеры использования: Отделение части данных от обучающего датасета для валидации.
Область использования: Все виды машинного обучения.
Генеративно-состязательная сеть (Generative Adversarial Network, GAN)
Определение: Архитектура из двух нейросетей — генератора и дискриминатора, которые обучаются совместно для создания реалистичных данных.
Примеры использования: Генерация изображений, видео, аудио.
Область использования: Generative AI, компьютерное зрение, аудио.
Градиентный спуск (Gradient Descent)
Определение: Метод оптимизации, при котором параметры модели обновляются в направлении уменьшения функции потерь по градиенту.
Примеры использования: SGD, Adam, RMSProp — разновидности градиентного спуска.
Область использования: Все виды машинного обучения и нейросетей.
Датасет (Dataset)
Определение: Набор данных, используемый для обучения, валидации или тестирования моделей.
Примеры использования: ImageNet для изображений, LibriSpeech для аудио, Wikipedia для текстов.
Область использования: Все области AI.
Даты среза (Cutoff Date)
Определение: Конечная дата, до которой были собраны данные для обучения модели. После этой даты модель не знает событий.
Примеры использования: GPT-4 имеет дату среза в 2023 году — не знает событий после неё.
Область использования: NLP, Generative AI.
Денойзинг (Denoising)
Определение: Процесс очистки данных от шума с целью улучшения качества модели и результатов генерации.
Примеры использования: Denoising Autoencoders, Stable Diffusion с параметром Denoising Strength.
Область использования: Компьютерное зрение, аудио, Generative AI.
Дообучение (Fine-tuning)
Определение: Процесс дополнительного обучения предобученной модели на специфическом датасете для улучшения качества в целевой задаче.
Примеры использования: Дообучение GPT на специализированных текстах.
Область использования: NLP, компьютерное зрение, аудио.
Жадный алгоритм (Greedy Algorithm)
Определение: Метод выбора локально оптимального решения на каждом шаге, часто используемый для генерации последовательностей.
Примеры использования: Генерация текста с выбором наиболее вероятного следующего слова.
Область использования: NLP, генеративные модели.
Интеллектуальное предположение (Intelligent Guess)
Определение: Способность модели делать обоснованные предположения на основе неполной или неоднозначной информации.
Примеры использования: Автодополнение текста, генерация ответов в чат-ботах.
Область использования: NLP, Generative AI.
Кластеризация (Clustering)
Определение: Метод группировки данных на кластеры (подмножества) по признакам без использования меток.
Примеры использования: K-means, DBSCAN.
Область использования: Машинное обучение, анализ данных.
Когнитивные архитектуры (Cognitive Architectures)
Определение: Модели и структуры, имитирующие человеческое мышление и познание.
Примеры использования: SOAR, ACT-R.
Область использования: Искусственный интеллект, когнитивные науки.
Контрастивное обучение (Contrastive Learning)
Определение: Метод обучения, при котором модель учится различать похожие и непохожие объекты, минимизируя расстояние между похожими и максимизируя между непохожими.
Примеры использования: SimCLR, MoCo.
Область использования: Компьютерное зрение, NLP.
Коэффициент обучения (Learning Rate)
Определение: Гиперпараметр, определяющий размер шага обновления весов модели во время обучения.
Примеры использования: В оптимизаторах:
optimizer = torch.optim.Adam(model.parameters(), lr=0.001).Область использования: Все виды нейросетей и машинного обучения.
Маскирование (Masking)
Определение: Техника скрытия определённых элементов входных данных для предотвращения их влияния на модель, часто используется в трансформерах.
Примеры использования: Маскирование будущих слов при генерации текста (causal masking).
Область использования: NLP, Transformer.
Модель (Model)
Определение: Формальное представление, обучаемое на данных, для решения конкретной задачи.
Примеры использования: GPT-4, ResNet, BERT.
Область использования: Все области AI.
Мультимодальная модель (Multimodal Model)
Определение: Нейросеть, способная одновременно обрабатывать и объединять различные типы данных — текст, изображения, аудио, видео.
Примеры использования: CLIP, DALL·E, GPT-4 multimodal.
Область использования: Generative AI, мультимодальные системы.
Нейросеть (Neural Network)
Определение: Модель машинного обучения, вдохновленная структурой человеческого мозга, состоящая из взаимосвязанных нейронов, способная учиться на данных.
Примеры использования: Классификация изображений, обработка текста, генерация аудио.
Область использования: Все области AI.
Обратное распространение ошибки (Backpropagation)
Определение: Алгоритм вычисления градиентов для обновления весов нейросети на основе ошибки предсказания.
Примеры использования: Используется при обучении всех типов нейросетей с помощью градиентного спуска.
Область использования: Все виды нейросетей и моделей машинного обучения.
Обучение (Training)
Определение: Процесс настройки параметров модели на основе обучающих данных для минимизации функции потерь.
Примеры использования: Обучение нейросети на GPU с использованием оптимизаторов.
Область использования: Все области AI.
Оптимизатор (Optimizer)
Определение: Алгоритм, управляющий процессом обновления параметров модели во время обучения для минимизации функции потерь.
Примеры использования: Adam, SGD, RMSProp.
Область использования: Все виды машинного обучения и нейросетей.
Переобучение (Overfitting)
Определение: Состояние модели, при котором она слишком точно запоминает обучающие данные и плохо обобщает на новые.
Примеры использования: Использование регуляризации и Dropout для борьбы с переобучением.
Область использования: Все виды машинного обучения.
Предобученная модель (Pretrained Model)
Определение: Модель, обученная на большом универсальном датасете и готовая к дообучению или применению в конкретных задачах.
Примеры использования: BERT, GPT-3, ResNet.
Область использования: NLP, компьютерное зрение, аудио.
Прогнозирование (Prediction)
Определение: Процесс получения результата модели на новых данных.
Примеры использования: Классификация текста, распознавание лиц.
Область использования: Все области AI.
Промпт (Prompt)
Определение: Ввод пользователя или команда, на основе которой языковая модель генерирует ответ или текст.
Примеры использования: Ввод текста в ChatGPT для получения ответа.
Область использования: NLP, Generative AI.
Рекуррентная нейронная сеть (Recurrent Neural Network, RNN)
Определение: Архитектура нейросети, способная обрабатывать последовательные данные с учётом контекста предыдущих элементов.
Примеры использования: Обработка текста, речи, временных рядов.
Область использования: NLP, распознавание речи.
Регуляризация (Regularization)
Определение: Методы, направленные на предотвращение переобучения модели путем ограничения сложности модели.
Примеры использования: L1, L2-регуляризация, Dropout.
Область использования: Все виды машинного обучения.
Свёрточная нейронная сеть (Convolutional Neural Network, CNN)
Определение: Архитектура нейросети, использующая свёртки для эффективной обработки изображений и других структурированных данных.
Примеры использования: Классификация изображений, детекция объектов, сегментация.
Область использования: Компьютерное зрение, видеообработка.
Температура (Temperature)
Определение: Параметр, управляющий степенью случайности в генерации текста или других данных моделью.
Примеры использования: В языковых моделях: при температуре 0 — детерминированный вывод, при >1 — более разнообразный.
Область использования: NLP, Generative AI.
Трансформер (Transformer)
Определение: Архитектура нейросети, основанная на механизме внимания, позволяющая эффективно обрабатывать последовательные данные без рекуррентных слоев.
Примеры использования: BERT, GPT, T5.
Область использования: NLP, компьютерное зрение, аудио.
Ускорение вывода (Inference Acceleration)
Определение: Методы и технологии, направленные на сокращение времени генерации предсказаний моделью.
Примеры использования: Квантизация, прунинг, оптимизация графа вычислений.
Область использования: Все области AI.
Функция потерь (Loss Function)
Определение: Математическая функция, измеряющая ошибку между предсказанием модели и истинным значением.
Примеры использования: Cross-Entropy, MSE, Hinge Loss.
Область использования: Все типы машинного обучения.
Функция активации (Activation Function)
Определение: Математическая функция, применяемая к выходу нейрона для введения нелинейности в модель, что позволяет нейросети учиться сложным зависимостям.
Примеры использования: ReLU, Sigmoid, Tanh. В коде PyTorch:
torch.nn.ReLU().Область использования: Все типы нейросетей, включая NLP, компьютерное зрение, обработку аудио.
Цикл обучения (Epoch)
Определение: Один полный проход всего обучающего датасета через модель во время обучения.
Примеры использования: Обучение модели на 10 эпохах.
Область использования: Все виды машинного обучения и нейросетей.
Шум (Noise)
Определение: Случайные или нежелательные искажения данных, которые могут ухудшать качество обучения и предсказаний.
Примеры использования: Добавление шума для аугментации данных, удаление шума с помощью денойзинга.
Область использования: Компьютерное зрение, аудио, Generative AI.