A–Z
- A/B Testing (A/B-тестирование)
-
Определение: Метод сравнения двух или более версий модели ИИ или интерфейса для определения наиболее эффективной.
Примеры использования: Сравнение качества ответов двух чат-моделей на одинаковых запросах; тестирование разных вариантов генерации изображений.
Область использования: NLP, Generative AI, UX/UI.
- Activation Function (Функция активации)
-
Определение: Функция, определяющая выход нейрона на основе его входного сигнала.
Примеры использования: ReLU(x) = max(0, x), sigmoid(x) = 1 / (1 + e⁻ˣ).
Область использования: Deep Learning, Computer Vision, NLP.
- Adam Optimizer
-
Определение: Алгоритм стохастической оптимизации, использующий адаптивные оценки моментов для обновления весов сети.
Примеры использования: model.compile(optimizer='adam', loss='categorical_crossentropy')
Область использования: Обучение нейросетей, NLP, CV.
- Attention Mechanism (Механизм внимания)
-
Определение: Механизм, позволяющий модели фокусироваться на наиболее важных частях входных данных при выполнении задачи.
Примеры использования: Transformer модели используют self-attention для анализа контекста текста.
Область использования: NLP, Generative AI, Vision Transformers.
- Backpropagation (Обратное распространение ошибки)
-
Определение: Метод вычисления градиентов функции потерь по параметрам модели для их последующего обновления.
Примеры использования: Вычисление производных в многослойных перцептронах.
Область использования: Deep Learning, NLP, Computer Vision.
- BERT (Bidirectional Encoder Representations from Transformers)
-
Определение: Предобученная модель NLP на основе архитектуры Transformer, которая учитывает контекст слова как слева, так и справа.
Примеры использования: fine-tuning BERT для классификации текстов, вопросно-ответных систем.
Область использования: NLP, Semantic Search, Question Answering.
- BLEU Score (Метрика BLEU)
-
Определение: Метрика для оценки качества машинного перевода или генерации текста путём сравнения n-грамм с эталонными.
Примеры использования: Оценка результатов моделей перевода или суммаризации текста.
Область использования: NLP, Generative AI.
- Chatbot
-
Определение: Программа, способная поддерживать диалог с пользователем на естественном языке.
Примеры использования: Telegram-боты, голосовые помощники, клиентская поддержка.
Область использования: NLP, Conversational AI.
- Computer Vision
-
Определение: Направление ИИ, занимающееся обработкой и анализом изображений и видео.
Примеры использования: Распознавание лиц, детекция объектов, генерация изображений.
Область использования: Image Processing, Generative AI, Robotics.
- Cross-Entropy Loss (Функция потерь перекрёстной энтропии)
-
Определение: Функция потерь, используемая в задачах классификации для оценки разницы между предсказанным и реальным распределением вероятностей.
Примеры использования: Классификация изображений, текстовая классификация.
Область использования: Deep Learning, NLP, Computer Vision.
- Dataset
-
Определение: Коллекция данных, используемая для обучения, проверки и тестирования моделей ИИ.
Примеры использования: MNIST (цифры), COCO (изображения), IMDb Reviews (тексты).
Область использования: Все направления ML и DL.
- Deep Learning
-
Определение: Подраздел машинного обучения, использующий многослойные нейронные сети для извлечения высокоуровневых представлений из данных.
Примеры использования: Генерация текста, создание изображений, распознавание речи.
Область использования: NLP, Computer Vision, Audio Processing.
- Diffusion Model
-
Определение: Тип генеративной модели, которая создаёт данные поэтапно, добавляя и затем удаляя шум.
Примеры использования: Stable Diffusion, DALL·E 2, Latent Diffusion Models.
Область использования: Generative AI, Computer Vision, Video Generation.
- Early Stopping
-
Определение: Техника регуляризации, при которой обучение останавливается, если метрика на валидационной выборке перестаёт улучшаться.
Примеры использования: Включение EarlyStopping в Keras callback.
Область использования: Deep Learning, NLP, Computer Vision.
- Embedding
-
Определение: Представление слов, изображений или других данных в виде числового вектора в многомерном пространстве.
Примеры использования: Word2Vec, GloVe, CLIP embeddings для изображений и текста.
Область использования: NLP, Computer Vision, Multimodal AI.
- Encoder-Decoder Architecture
-
Определение: Архитектура нейронной сети, состоящая из кодировщика, который преобразует входные данные, и декодировщика, который генерирует выходные данные.
Примеры использования: Перевод текста, суммаризация, генерация изображений.
Область использования: NLP, Generative AI, Speech-to-Text.
- Epoch
-
Определение: Полный проход через весь обучающий набор данных во время обучения модели.
Примеры использования: Обычно обучают модели в течение нескольких эпох для достижения хорошей точности.
Область использования: Deep Learning, NLP, Computer Vision.
- Fine-tuning
-
Определение: Дообучение уже обученной модели на новых данных для адаптации к конкретной задаче.
Примеры использования: Дообучение BERT на наборе отзывов для классификации тональности.
Область использования: Transfer Learning, NLP, Computer Vision.
- GAN (Generative Adversarial Network, Генеративно-состязательная сеть)
-
Определение: Архитектура ИИ, состоящая из двух моделей — генератора и дискриминатора, которые конкурируют друг с другом.
Примеры использования: Создание реалистичных изображений, стилизация фото, генерация видео.
Область использования: Generative AI, Computer Vision, Audio Synthesis.
- GPU (Graphics Processing Unit, Графический процессор)
-
Определение: Процессор, специально разработанный для параллельной обработки графических данных, часто используется в обучении ИИ.
Примеры использования: Обучение больших моделей вроде GPT, LLaMA, Stable Diffusion.
Область использования: Deep Learning, HPC, Generative AI.
- Gradient Descent (Градиентный спуск)
-
Определение: Оптимизационный алгоритм, используемый для минимизации функции потерь за счёт изменения весов модели в направлении антиградиента.
Примеры использования: SGD, Adam, RMSProp — различные реализации градиентного спуска.
Область использования: Deep Learning, Optimization, NLP.
- Hyperparameter (Гиперпараметр)
-
Определение: Параметр, задаваемый до начала обучения модели и не изменяемый в процессе обучения (например, скорость обучения, количество слоёв).
Примеры использования: learning_rate=0.001, num_layers=6, batch_size=32.
Область использования: Machine Learning, Deep Learning, AutoML.
- Inference (Вывод, инференс)
-
Определение: Процесс использования обученной модели для прогнозирования или генерации вывода на новых данных.
Примеры использования: Генерация текста, классификация изображений, перевод.
Область использования: NLP, Computer Vision, Generative AI.
- Intelligent Guessing (Интеллектуальное предположение)
-
Определение: Способность модели делать обоснованные предположения на основе имеющихся данных и контекста.
Примеры использования: Заполнение пропущенных слов в тексте, завершение кода в IDE.
Область использования: NLP, Code Completion, Generative AI.
- Knowledge Distillation (Дистилляция знаний)
-
Определение: Метод передачи знаний большой модели (учителя) маленькой модели (ученика) для повышения её эффективности.
Примеры использования: DistilBERT — уменьшенная версия BERT.
Область использования: Transfer Learning, Edge AI, NLP.
- Latent Space (Латентное пространство)
-
Определение: Многомерное пространство, в котором хранятся скрытые представления данных, полученные в результате кодирования.
Примеры использования: Интерполяция между двумя изображениями в GAN или VAE.
Область использования: Generative AI, Dimensionality Reduction, NLP.
- Learning Rate (Скорость обучения)
-
Определение: Гиперпараметр, определяющий размер шага, на который обновляются веса модели в процессе обучения.
Примеры использования: learning_rate=0.0001 в Adam optimizer.
Область использования: Optimization, Deep Learning, NLP.
- Loss Function (Функция потерь)
-
Определение: Функция, измеряющая ошибку модели на обучающих данных.
Примеры использования: MSE, Cross-Entropy, KL-Divergence.
Область использования: Deep Learning, NLP, Regression.
- LSTM (Long Short-Term Memory)
-
Определение: Тип рекуррентной нейронной сети, способный запоминать долгосрочные зависимости.
Примеры использования: Генерация текста, прогнозирование временных рядов.
Область использования: NLP, Time Series Analysis, Speech Recognition.
- Mamba
-
Определение: Архитектура нейронной сети, заменяющая механизм внимания на более эффективную и масштабируемую структуру, основанную на рекуррентных моделях.
Примеры использования: Долгие последовательности в NLP и генерации кода.
Область использования: NLP, Sequence Modeling, Generative AI.
- Masked Language Model (MLM, Модель маскированного языка)
-
Определение: Тип обучения, при котором модель учится восстанавливать случайно замаскированные слова в тексте.
Примеры использования: BERT, RoBERTa.
Область использования: NLP, Pretraining, Language Understanding.
- Metrics (Метрики качества)
-
Определение: Показатели, используемые для оценки производительности модели.
Примеры использования: Accuracy, F1-score, BLEU, ROUGE, PSNR, SSIM.
Область использования: Evaluation, NLP, Computer Vision.
- Model Drift (Сдвиг модели)
-
Определение: Изменение статистики входных данных со временем, что может привести к снижению качества модели.
Примеры использования: Мониторинг метрик модели в продакшене.
Область использования: MLOps, Monitoring, Production AI.
- Natural Language Processing (NLP, Обработка естественного языка)
-
Определение: Направление ИИ, занимающееся пониманием и генерацией текста человеко-подобным образом.
Примеры использования: Чат-боты, суммаризация, машинный перевод.
Область использования: AI, Linguistics, Information Retrieval.
- Neural Architecture Search (NAS, Поиск архитектуры нейросети)
-
Определение: Автоматический метод поиска оптимальной архитектуры нейросети для конкретной задачи.
Примеры использования: Google AutoML, NASNet.
Область использования: AutoML, Optimization, Research.
- Overfitting (Переобучение)
-
Определение: Состояние модели, при котором она хорошо запоминает обучающие данные, но плохо работает на новых данных.
Примеры использования: Высокая точность на train, низкая на test.
Область использования: Deep Learning, Regularization, NLP.
- Parameter
-
Определение: Внутренняя переменная модели, которая изменяется в процессе обучения.
Примеры использования: Веса и смещения нейронов.
Область использования: Deep Learning, Optimization, Training.
- Perplexity (Перплексия)
-
Определение: Метрика, показывающая, насколько хорошо модель предсказывает текст.
Примеры использования: Оценка качества языковых моделей.
Область использования: NLP, Language Modeling.
- Prompt Engineering
-
Определение: Искусство формулирования входных инструкций (промптов) для получения нужного отклика от модели.
Примеры использования: "Напиши письмо в деловом стиле", "Объясни теорию относительности простым языком".
Область использования: NLP, Prompt-based AI, Chatbots.
- Quantization (Квантование)
-
Определение: Техника уменьшения точности весов модели для снижения потребления памяти и увеличения скорости работы.
Примеры использования: 32-bit → 8-bit, GGUF-формат для LLaMA.
Область использования: Edge AI, Mobile AI, Deployment.
- RetNet (Retention Network)
-
Определение: Архитектура, предложенная как альтернатива Transformer, обеспечивающая эффективное управление длинными последовательностями без механизма внимания.
Примеры использования: Обработка длинных текстов, генерация кода.
Область использования: NLP, Sequence Modeling, Generative AI.
- Reinforcement Learning (RL, Обучение с подкреплением)
-
Определение: Тип машинного обучения, в котором агент учится принимать решения, получая награду за успешные действия.
Примеры использования: AlphaGo, автономные автомобили, игровые агенты.
Область использования: Game AI, Robotics, Decision Making.
- RoBERTa
-
Определение: Усовершенствованная версия BERT с дополнительными этапами предобучения и оптимизациями.
Примеры использования: Fine-tuning для задач NLP, таких как классификация и Q&A.
Область использования: NLP, Semantic Search, Text Classification.
- Semantic Similarity (Семантическая близость)
-
Определение: Мера схожести двух текстов по смыслу, а не по словам.
Примеры использования: Sentence-BERT, Cosine similarity между эмбеддингами.
Область использования: NLP, Information Retrieval, Plagiarism Detection.
- Sequence-to-Sequence (Seq2Seq)
-
Определение: Архитектура модели, которая преобразует одну последовательность в другую, например, предложение на английском в предложение на русском.
Примеры использования: Перевод, суммаризация, вопросно-ответные системы.
Область использования: NLP, Generative AI, Speech-to-Text.
- Stable Diffusion
-
Определение: Диффузионная модель, генерирующая изображения на основе текстового описания.
Примеры использования: Генерация изображений по промпту, редактирование изображений.
Область использования: Generative AI, Computer Vision, Art.
- Temperature (Температура)
-
Определение: Параметр, контролирующий степень случайности в генерации текста.
Примеры использования: temperature=0.7 — стандартный режим, temperature=0 — детерминированная генерация.
Область использования: NLP, Generative AI, Chatbots.
- Token
-
Определение: Единица текста, на которую разбивается входная последовательность для обработки моделью.
Примеры использования: Одно слово или часть слова в токенизаторе BPE.
Область использования: NLP, Tokenization, Language Modeling.
- Tokenizer
-
Определение: Инструмент, разбивающий текст на токены для обработки моделью.
Примеры использования: BertTokenizer, GPT2Tokenizer, SentencePiece.
Область использования: NLP, Preprocessing, Token Embeddings.
- Transformer
-
Определение: Архитектура нейронной сети, основанная на механизме внимания, позволяющая эффективно обрабатывать последовательности.
Примеры использования: BERT, GPT, T5, ViT.
Область использования: NLP, Computer Vision, Generative AI.
- Transfer Learning (Трансферное обучение)
-
Определение: Метод, при котором модель, обученная на одной задаче, используется для другой связанной задачи.
Примеры использования: Дообучение ImageNet-модели на специализированном наборе данных.
Область использования: NLP, Computer Vision, Medical Imaging.
- Underfitting (Недообучение)
-
Определение: Состояние модели, при котором она плохо учится даже на обучающих данных.
Примеры использования: Низкие значения accuracy и на train, и на test.
Область использования: Deep Learning, Model Tuning, NLP.
- Validation Set (Проверочная выборка)
-
Определение: Часть данных, используемая для настройки гиперпараметров и оценки качества модели во время обучения.
Примеры использования: Разделение датасета на train/val/test.
Область использования: Machine Learning, Model Selection, NLP.
- Vision Transformer (ViT)
-
Определение: Трансформерная архитектура, применённая к задачам компьютерного зрения.
Примеры использования: Классификация изображений, детекция объектов.
Область использования: Computer Vision, Image Classification, Generative AI.
- Warm-up
-
Определение: Этап начального обучения, на котором скорость обучения постепенно увеличивается для стабилизации процесса.
Примеры использования: Настройка линейного или экспоненциального роста learning rate.
Область использования: Training, Optimization, NLP.
- Zero-shot Learning (Обучение без примеров)
-
Определение: Способность модели выполнять задачу, не обучаясь на примерах этой задачи ранее.
Примеры использования: GPT-3, LLaMA, выполняют новые задачи по описанию.
Область использования: NLP, Prompt Engineering, General AI.