GPT - это Generative Pre-trained Transformer, семейство больших языковых моделей, основанное на архитектуре трансформера. Модель проходит предварительное обучение на больших объемах данных, после чего может адаптироваться под различные задачи обработки естественного языка: от диалога до суммаризации и генерации текста. GPT-системы используют вероятностное предсказание токенов для формирования связных фраз.