A–Z
Attention (Внимание)
Определение: Механизм, позволяющий модели фокусироваться на наиболее важных частях входных данных.
Примеры использования: В Transformer'ах — self-attention для контекстуального анализа текста.
Область использования: NLP, Computer Vision
Autoencoder (Автокодировщик)
Определение: Архитектура нейросети для обучения компактного представления данных без меток.
Примеры использования: Сжатие изображений, генерация новых данных.
Область использования: Computer Vision, Generative AI
Backpropagation (Обратное распространение ошибки)
Определение: Алгоритм обучения нейросетей, основанный на вычислении градиентов.
Примеры использования: Стандартная часть обучения моделей с помощью градиентного спуска.
Область использования: Все направления
Batch Normalization (Пакетная нормализация)
Определение: Техника ускорения и стабилизации обучения глубоких сетей через нормализацию данных по батчу.
Примеры использования: Используется перед активацией в CNN и Transformer'ах.
Область использования: NLP, CV
Bias (Смещение)
Определение: Дополнительный параметр в нейроне, позволяющий изменять границу активации.
Примеры использования: В любом нейроне: y = wx + b
Область использования: Все направления
Convolutional Neural Network (Сверточная нейросеть)
Определение: Тип нейросети, использующий свертки для анализа изображений.
Примеры использования: Классификация и сегментация изображений.
Область использования: Computer Vision
Cutoff Date (Дата среза)
Определение: Дата, до которой нейросеть имеет доступ к данным во время обучения.
Примеры использования: "Модель обучена на данных до сентября 2023".
Область использования: NLP, Safety
Embedding (Встраивание)
Определение: Представление данных (например, слов) в виде плотных векторов.
Примеры использования: Word2Vec, BERT Embeddings.
Область использования: NLP
Gradient Descent (Градиентный спуск)
Определение: Метод оптимизации параметров модели путём минимизации функции потерь.
Примеры использования: Используется в обучении всех нейросетей.
Область использования: Все направления
Hallucination (Галлюцинация модели)
Определение: Ситуация, когда модель генерирует неправдоподобные или ошибочные ответы.
Примеры использования: Модели LLM могут придумывать источники или факты.
Область использования: NLP, Safety
Inference (Инференс)
Определение: Этап использования обученной модели для получения результатов на новых данных.
Примеры использования: Запуск модели на сервере для ответов пользователям.
Область использования: Все направления
Intellectual Guess (Интеллектуальное предположение)
Определение: Оценочное суждение модели в условиях неопределенности.
Примеры использования: Предсказание по неполным данным в диалоге.
Область использования: NLP
Loss Function (Функция потерь)
Определение: Математическая функция, измеряющая ошибку предсказаний модели.
Примеры использования: CrossEntropy, MSE.
Область использования: Все направления
Mamba (Mamba)
Определение: Современная архитектура нейросетей, оптимизированная для длинных последовательностей без self-attention.
Примеры использования: Обработка текста на больших глубинах.
Область использования: NLP
Overfitting (Переобучение)
Определение: Ситуация, когда модель чрезмерно запоминает обучающие данные и плохо обобщает новые.
Примеры использования: Тестирование модели на валидации — резко хуже, чем на обучении.
Область использования: Все направления
Prompt Engineering (Инжиниринг запросов)
Определение: Техника создания эффективных запросов для LLM.
Примеры использования: "Сгенерируй код на Python для сортировки списка".
Область использования: Generative AI, NLP
RetNet (RetNet)
Определение: Архитектура, использующая рекуррентный механизм с памятью без self-attention, конкурент Transformer'у.
Примеры использования: Обработка текста с высокой эффективностью.
Область использования: NLP
Temperature (Температура генерации)
Определение: Параметр, контролирующий случайность генерации модели.
Примеры использования: Высокая температура → разнообразные ответы; низкая → предсказуемые.
Область использования: Generative AI, NLP
Transformer (Трансформер)
Определение: Модель, основанная на attention-механизмах, заменившая RNN/CNN в NLP.
Примеры использования: GPT, BERT, T5 — все используют Transformer.
Область использования: NLP, Generative AI
Zero-shot Learning (Обучение без примеров)
Определение: Способность модели решать задачи, для которых она не была явно обучена.
Примеры использования: Генерация ответов на незнакомые темы.
Область использования: NLP, Generative AI
А–Я
Активируемая функция (Activation Function)
Определение: Функция, определяющая выход нейрона в зависимости от входных данных.
Примеры использования: ReLU, Sigmoid, Tanh.
Область использования: Все направления
Аугментация данных (Data Augmentation)
Определение: Метод искусственного увеличения объема обучающих данных путем их модификации.
Примеры использования: Вращение, обрезка, изменение яркости изображений.
Область использования: CV, NLP, Audio
Внимание (Attention)
Определение: Механизм, позволяющий модели фокусироваться на ключевых элементах входной последовательности.
Примеры использования: В трансформерах: self-attention для анализа текста.
Область использования: NLP, CV
Градиентный спуск (Gradient Descent)
Определение: Метод оптимизации параметров модели с использованием градиентов.
Примеры использования: Adam, SGD.
Область использования: Все направления
Дата среза (Cutoff Date)
Определение: Дата, до которой нейросеть обучалась на известных данных.
Примеры использования: "Модель обучена на данных до марта 2024".
Область использования: NLP, Safety
Интеллектуальное предположение (Intellectual Guess)
Определение: Прогноз, сделанный моделью на основе ограниченного контекста.
Примеры использования: Генерация ответов в чат-ботах.
Область использования: NLP
Кросс-энtропия (Cross-Entropy)
Определение: Функция потерь для классификационных задач.
Примеры использования: Обучение моделей распознавания текста и изображений.
Область использования: NLP, CV
Линейный слой (Linear Layer)
Определение: Слой нейросети, применяющий линейную трансформацию к входным данным.
Примеры использования: В любой feedforward-сети.
Область использования: Все направления
Метрика качества (Evaluation Metric)
Определение: Мера точности или эффективности модели.
Примеры использования: Accuracy, F1-Score, BLEU, PSNR.
Область использования: Все направления
Нейросеть (Neural Network)
Определение: Модель, состоящая из нейронов, имитирующая работу мозга.
Примеры использования: CNN, RNN, GAN.
Область использования: Все направления
Обратное распространение ошибки (Backpropagation)
Определение: Алгоритм вычисления градиентов и обновления весов модели.
Примеры использования: Используется при обучении всех нейросетей.
Область использования: Все направления
Переобучение (Overfitting)
Определение: Состояние, при котором модель слишком точно запоминает обучающие данные и не может обобщать.
Примеры использования: Высокая точность на обучении, низкая — на тесте.
Область использования: Все направления
Распознавание (Recognition)
Определение: Задача идентификации объектов, изображений, лиц и др.
Примеры использования: Распознавание лиц, текста, голоса.
Область использования: CV, NLP, Audio
Свертка (Convolution)
Определение: Математическая операция, применяемая для выделения признаков в данных.
Примеры использования: В CNN — фильтрация изображения через ядро.
Область использования: CV
Температура генерации (Temperature)
Определение: Параметр, задающий уровень случайности при генерации ответов.
Примеры использования: Низкая температура — точность, высокая — креативность.
Область использования: Generative AI, NLP
Трансформер (Transformer)
Определение: Модель, основанная на механизме внимания, вытеснившая RNN и CNN в задачах последовательной обработки.
Примеры использования: GPT, BERT, T5.
Область использования: NLP, Generative AI
Утечка данных (Data Leakage)
Определение: Ошибка, при которой обучающие данные случайно попадают в тестовый набор.
Примеры использования: При случайной перемешке данных перед разделением.
Область использования: ML, Safety
Функция потерь (Loss Function)
Определение: Функция, определяющая отклонение предсказания от истинного значения.
Примеры использования: MSE, MAE, CrossEntropy.
Область использования: Все направления
Ядро свертки (Kernel)
Определение: Маленькая матрица, применяемая к изображению для извлечения признаков.
Примеры использования: Размытие, усиление границ, детекция объектов.
Область использования: CV