Толковый словарь по нейросетям и искусственному интеллекту

Составлен нейросетью Grok

Английские термины (A–Z)

Activation Function (Функция активации)

Определение: Математическая функция, применяемая к выходу нейрона для введения нелинейности, что позволяет нейросети моделировать сложные зависимости.

Примеры использования: Примеры функций активации: ReLU (`f(x) = max(0, x)`), сигмоида (`f(x) = 1 / (1 + e^(-x))`), тангенс гиперболический (tanh). Например, в PyTorch:

import torch
import torch.nn as nn
relu = nn.ReLU()
x = torch.tensor([-1.0, 0.0, 1.0])
print(relu(x))  # Вывод: tensor([0., 0., 1.])

Область использования: Обучение нейросетей, архитектуры глубокого обучения (Deep Learning), NLP, Computer Vision.

Attention Mechanism (Механизм внимания)

Определение: Техника в нейросетях, позволяющая модели фокусироваться на наиболее релевантных частях входных данных при обработке последовательностей.

Примеры использования: Используется в моделях Transformer. Например, в задаче машинного перевода модель уделяет больше внимания словам, связанным с текущим переводимым словом. Код в PyTorch:

from torch.nn import MultiheadAttention
mha = MultiheadAttention(embed_dim=512, num_heads=8)
query = key = value = torch.rand(10, 32, 512)
attn_output, attn_weights = mha(query, key, value)

Область использования: NLP (перевод, суммаризация), Computer Vision (Vision Transformers), Generative AI.

Backpropagation (Обратное распространение ошибки)

Определение: Алгоритм оптимизации, используемый для обучения нейросетей путем минимизации функции потерь через градиентный спуск.

Примеры использования: Обновление весов нейросети. Пример в PyTorch:

import torch
model = nn.Linear(10, 1)
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
output = model(input)
loss = criterion(output, target)
loss.backward()  # Вычисление градиентов
optimizer.step()  # Обновление весов

Область использования: Обучение нейросетей, Deep Learning.

Batch Normalization (Пакетная нормализация)

Определение: Техника нормализации входных данных для каждого слоя нейросети, ускоряющая обучение и повышающая стабильность.

Примеры использования: Добавление слоя нормализации в модели. Пример в PyTorch:

import torch.nn as nn
bn = nn.BatchNorm2d(64)  # Для 64 каналов
x = torch.rand(32, 64, 28, 28)
x_normalized = bn(x)

Область использования: Computer Vision, Deep Learning, обучение нейросетей.

BERT (Bidirectional Encoder Representations from Transformers) (Берт)

Определение: Модель на основе Transformer, обученная для понимания контекста текста в обоих направлениях.

Примеры использования: Используется для задач классификации текста, вопросно-ответных систем. Пример с Hugging Face:

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
inputs = tokenizer("Привет, мир!", return_tensors="pt")
outputs = model(**inputs)

Область использования: NLP, обработка текста, Generative AI.

Convolutional Neural Network (CNN) (Сверточная нейросеть)

Определение: Тип нейросети, использующий сверточные слои для обработки данных с пространственной структурой, таких как изображения.

Примеры использования: Распознавание объектов на изображениях. Пример в PyTorch:

import torch.nn as nn
class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1)
        self.relu = nn.ReLU()
    def forward(self, x):
        return self.relu(self.conv1(x))

Область использования: Computer Vision, обработка видео, распознавание лиц.

Data Cutoff (Дата среза)

Определение: Дата, на которую актуальны данные, используемые для обучения или анализа модели.

Примеры использования: Например, модель обучена на данных до 12 июля 2025 года, что определяет её актуальность. Используется в документации: «Модель актуальна на дату среза 12.07.2025».

Область использования: Обучение нейросетей, оценка моделей, управление данными.

Dropout (Отсев)

Определение: Регуляризационная техника, при которой случайным образом отключаются нейроны во время обучения для предотвращения переобучения.

Примеры использования: Добавление отсева в модель. Пример в PyTorch:

import torch.nn as nn
dropout = nn.Dropout(p=0.5)  # 50% вероятность отключения
x = torch.rand(10, 100)
x_dropped = dropout(x)

Область использования: Обучение нейросетей, Deep Learning.

Embedding (Вложение)

Определение: Представление данных (слов, изображений) в виде векторов фиксированной длины для упрощения обработки нейросетью.

Примеры использования: Преобразование слов в векторы. Пример в PyTorch:

import torch.nn as nn
embedding = nn.Embedding(num_embeddings=1000, embedding_dim=50)
word_idx = torch.tensor([1, 2, 3])
embedded = embedding(word_idx)

Область использования: NLP, Computer Vision, Generative AI.

Fine-Tuning (Тонкая настройка)

Определение: Процесс дообучения предварительно обученной модели на специфических данных для улучшения её производительности на конкретной задаче.

Примеры использования: Дообучение BERT для классификации отзывов. Пример:

from transformers import BertForSequenceClassification, Trainer
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
trainer = Trainer(model=model, train_dataset=dataset)
trainer.train()

Область использования: NLP, Computer Vision, Generative AI.

GAN (Generative Adversarial Network) (Генеративно-состязательная сеть)

Определение: Модель, состоящая из генератора и дискриминатора, обучающихся в противоборстве для создания реалистичных данных.

Примеры использования: Генерация изображений. Пример в PyTorch:

import torch.nn as nn
generator = nn.Sequential(nn.Linear(100, 256), nn.ReLU(), nn.Linear(256, 784))
discriminator = nn.Sequential(nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 1), nn.Sigmoid())

Область использования: Generative AI, Computer Vision, обработка аудио.

Gradient Descent (Градиентный спуск)

Определение: Оптимизационный алгоритм для минимизации функции потерь путем итеративного обновления параметров модели.

Примеры использования: Обучение модели. Пример в PyTorch:

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
optimizer.zero_grad()
loss = criterion(model(input), target)
loss.backward()
optimizer.step()

Область использования: Обучение нейросетей, Deep Learning.

Loss Function (Функция потерь)

Определение: Функция, измеряющая разницу между предсказаниями модели и истинными значениями.

Примеры использования: MSE для регрессии, Cross-Entropy для классификации. Пример:

import torch.nn as nn
criterion = nn.CrossEntropyLoss()
output = model(input)
loss = criterion(output, target)

Область использования: Обучение нейросетей, оценка качества моделей.

Mamba (Мамба)

Определение: Архитектура нейросети, использующая структурированные матрицы для эффективной обработки последовательностей, альтернативная Transformer.

Примеры использования: Обработка длинных последовательностей текста. Пока нет широко известных библиотек, но предполагаемый код:

# Псевдокод
mamba_model = Mamba(sequence_length=1000, hidden_dim=512)
output = mamba_model(input_sequence)

Область использования: NLP, обработка последовательностей.

Precision (Точность)

Определение: Метрика качества, измеряющая долю правильных позитивных предсказаний среди всех позитивных предсказаний модели.

Примеры использования: Оценка классификатора. Пример в scikit-learn:

from sklearn.metrics import precision_score
y_true = [1, 0, 1, 1]
y_pred = [1, 1, 1, 0]
print(precision_score(y_true, y_pred))  # Вывод: 0.666

Область использования: Оценка качества моделей, NLP, Computer Vision.

RetNet (Retentive Network) (Ретентивная сеть)

Определение: Архитектура, оптимизированная для обработки последовательностей с сохранением памяти о предыдущих состояниях.

Примеры использования: Обработка текстовых последовательностей с меньшими вычислительными затратами. Псевдокод:

retnet = RetNet(hidden_dim=512)
output = retnet(input_sequence)

Область использования: NLP, обработка последовательностей.

Temperature (Температура)

Определение: Гиперпараметр в моделях генерации текста, контролирующий степень случайности выходных данных.

Примеры использования: Высокая температура (например, 1.0) делает текст более разнообразным, низкая (0.7) — более предсказуемым. Пример в Hugging Face:

from transformers import pipeline
generator = pipeline('text-generation', model='gpt2')
output = generator("Привет, мир!", temperature=0.7)

Область использования: Generative AI, NLP.

Transformer (Трансформер)

Определение: Архитектура нейросети, использующая механизмы внимания для обработки последовательностей данных.

Примеры использования: Модели как BERT, GPT. Пример в Hugging Face:

from transformers import GPT2Model, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2Model.from_pretrained('gpt2')
inputs = tokenizer("Привет, мир!", return_tensors="pt")
outputs = model(**inputs)

Область использования: NLP, Computer Vision (Vision Transformers), Generative AI.

Русскоязычные термины (А–Я)

Берт (BERT)

Эквивалент: Bidirectional Encoder Representations from Transformers

Определение: Модель на основе Transformer, обученная для понимания контекста текста в обоих направлениях.

Примеры использования: Используется для задач классификации текста, вопросно-ответных систем. Пример с Hugging Face:

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
inputs = tokenizer("Привет, мир!", return_tensors="pt")
outputs = model(**inputs)

Область использования: NLP, обработка текста, Generative AI.

Генеративно-состязательная сеть (GAN)

Эквивалент: Generative Adversarial Network

Определение: Модель, состоящая из генератора и дискриминатора, обучающихся в противоборстве для создания реалистичных данных.

Примеры использования: Генерация изображений. Пример в PyTorch:

import torch.nn as nn
generator = nn.Sequential(nn.Linear(100, 256), nn.ReLU(), nn.Linear(256, 784))
discriminator = nn.Sequential(nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 1), nn.Sigmoid())

Область использования: Generative AI, Computer Vision, обработка аудио.

Градиентный спуск (Gradient Descent)

Эквивалент: Gradient Descent

Определение: Оптимизационный алгоритм для минимизации функции потерь путем итеративного обновления параметров модели.

Примеры использования: Обучение модели. Пример в PyTorch:

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
optimizer.zero_grad()
loss = criterion(model(input), target)
loss.backward()
optimizer.step()

Область использования: Обучение нейросетей, Deep Learning.

Дата среза (Data Cutoff)

Эквивалент: Data Cutoff

Определение: Дата, на которую актуальны данные, используемые для обучения или анализа модели.

Примеры использования: Например, модель обучена на данных до 12 июля 2025 года, что определяет её актуальность. Используется в документации: «Модель актуальна на дату среза 12.07.2025».

Область использования: Обучение нейросетей, оценка моделей, управление данными.

Мамба (Mamba)

Эквивалент: Mamba

Определение: Архитектура нейросети, использующая структурированные матрицы для эффективной обработки последовательностей, альтернативная Transformer.

Примеры использования: Обработка длинных последовательностей текста. Пока нет широко известных библиотек, но предполагаемый код:

# Псевдокод
mamba_model = Mamba(sequence_length=1000, hidden_dim=512)
output = mamba_model(input_sequence)

Область использования: NLP, обработка последовательностей.

Механизм внимания (Attention Mechanism)

Эквивалент: Attention Mechanism

Определение: Техника в нейросетях, позволяющая модели фокусироваться на наиболее релевантных частях входных данных при обработке последовательностей.

Примеры использования: Используется в моделях Transformer. Например, в задаче машинного перевода модель уделяет больше внимания словам, связанным с текущим переводимым словом. Код в PyTorch:

from torch.nn import MultiheadAttention
mha = MultiheadAttention(embed_dim=512, num_heads=8)
query = key = value = torch.rand(10, 32, 512)
attn_output, attn_weights = mha(query, key, value)

Область использования: NLP, Computer Vision (Vision Transformers), Generative AI.

Обратное распространение ошибки (Backpropagation)

Эквивалент: Backpropagation

Определение: Алгоритм оптимизации, используемый для обучения нейросетей путем минимизации функции потерь через градиентный спуск.

Примеры использования: Обновление весов нейросети. Пример в PyTorch:

import torch
model = nn.Linear(10, 1)
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
output = model(input)
loss = criterion(output, target)
loss.backward()  # Вычисление градиентов
optimizer.step()  # Обновление весов

Область использования: Обучение нейросетей, Deep Learning.

Отсев (Dropout)

Эквивалент: Dropout

Определение: Регуляризационная техника, при которой случайным образом отключаются нейроны во время обучения для предотвращения переобучения.

Примеры использования: Добавление отсева в модель. Пример в PyTorch:

import torch.nn as nn
dropout = nn.Dropout(p=0.5)  # 50% вероятность отключения
x = torch.rand(10, 100)
x_dropped = dropout(x)

Область использования: Обучение нейросетей, Deep Learning.

Пакетная нормализация (Batch Normalization)

Эквивалент: Batch Normalization

Определение: Техника нормализации входных данных для каждого слоя нейросети, ускоряющая обучение и повышающая стабильность.

Примеры использования: Добавление слоя нормализации в модели. Пример в PyTorch:

import torch.nn as nn
bn = nn.BatchNorm2d(64)  # Для 64 каналов
x = torch.rand(32, 64, 28, 28)
x_normalized = bn(x)

Область использования: Computer Vision, Deep Learning, обучение нейросетей.

Ретентивная сеть (RetNet)

Эквивалент: Retentive Network

Определение: Архитектура, оптимизированная для обработки последовательностей с сохранением памяти о предыдущих состояниях.

Примеры использования: Обработка текстовых последовательностей с меньшими вычислительными затратами. Псевдокод:

retnet = RetNet(hidden_dim=512)
output = retnet(input_sequence)

Область использования: NLP, обработка последовательностей.

Сверточная нейросеть (Convolutional Neural Network, CNN)

Эквивалент: Convolutional Neural Network

Определение: Тип нейросети, использующий сверточные слои для обработки данных с пространственной структурой, таких как изображения.

Примеры использования: Распознавание объектов на изображениях. Пример в PyTorch:

import torch.nn as nn
class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1)
        self.relu = nn.ReLU()
    def forward(self, x):
        return self.relu(self.conv1(x))

Область использования: Computer Vision, обработка видео, распознавание лиц.

Температура (Temperature)

Эквивалент: Temperature

Определение: Гиперпараметр в моделях генерации текста, контролирующий степень случайности выходных данных.

Примеры использования: Высокая температура (например, 1.0) делает текст более разнообразным, низкая (0.7) — более предсказуемым. Пример в Hugging Face:

from transformers import pipeline
generator = pipeline('text-generation', model='gpt2')
output = generator("Привет, мир!", temperature=0.7)

Область использования: Generative AI, NLP.

Тонкая настройка (Fine-Tuning)

Эквивалент: Fine-Tuning

Определение: Процесс дообучения предварительно обученной модели на специфических данных для улучшения её производительности на конкретной задаче.

Примеры использования: Дообучение BERT для классификации отзывов. Пример:

from transformers import BertForSequenceClassification, Trainer
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
trainer = Trainer(model=model, train_dataset=dataset)
trainer.train()

Область использования: NLP, Computer Vision, Generative AI.

Точность (Precision)

Эквивалент: Precision

Определение: Метрика качества, измеряющая долю правильных позитивных предсказаний среди всех позитивных предсказаний модели.

Примеры использования: Оценка классификатора. Пример в scikit-learn:

from sklearn.metrics import precision_score
y_true = [1, 0, 1, 1]
y_pred = [1, 1, 1, 0]
print(precision_score(y_true, y_pred))  # Вывод: 0.666

Область использования: Оценка качества моделей, NLP, Computer Vision.

Трансформер (Transformer)

Эквивалент: Transformer

Определение: Архитектура нейросети, использующая механизмы внимания для обработки последовательностей данных.

Примеры использования: Модели как BERT, GPT. Пример в Hugging Face:

from transformers import GPT2Model, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2Model.from_pretrained('gpt2')
inputs = tokenizer("Привет, мир!", return_tensors="pt")
outputs = model(**inputs)

Область использования: NLP, Computer Vision (Vision Transformers), Generative AI.

Функция активации (Activation Function)

Эквивалент: Activation Function

Определение: Математическая функция, применяемая к выходу нейрона для введения нелинейности, что позволяет нейросети моделировать сложные зависимости.

Примеры использования: Примеры функций активации: ReLU (`f(x) = max(0, x)`), сигмоида (`f(x) = 1 / (1 + e^(-x))`), тангенс гиперболический (tanh). Например, в PyTorch:

import torch
import torch.nn as nn
relu = nn.ReLU()
x = torch.tensor([-1.0, 0.0, 1.0])
print(relu(x))  # Вывод: tensor([0., 0., 1.])

Область использования: Обучение нейросетей, архитектуры глубокого обучения (Deep Learning), NLP, Computer Vision.

Функция потерь (Loss Function)

Эквивалент: Loss Function

Определение: Функция, измеряющая разницу между предсказаниями модели и истинными значениями.

Примеры использования: MSE для регрессии, Cross-Entropy для классификации. Пример:

import torch.nn as nn
criterion = nn.CrossEntropyLoss()
output = model(input)
loss = criterion(output, target)

Область использования: Обучение нейросетей, оценка качества моделей.