ChatGPT будут отучивать от вранья

Популярная проблема — если бот не знает ответ, он начинает нести чушь. В OpenAI придумали, как с этим бороться.

Чтобы отучить ChatGPT от вранья, компания планирует научить искусственный интеллект награждать себя за каждый правильный шаг рассуждений, а не только за окончательный вывод.

Это в итоге должно привести к тому, что «цепочки мыслей» бота будут максимально схожи с человеческими.

ChatGPT будут отучивать от вранья: новая стратегия OpenAI

Популярная проблема — если бот не знает ответ, он начинает нести чушь. В OpenAI придумали, как с этим бороться. Вместо того чтобы наказывать за ошибки, разработчики хотят внедрить систему поощрений за правильные рассуждения.

Чтобы отучить ChatGPT от вранья, компания планирует научить искусственный интеллект награждать себя за каждый правильный шаг рассуждений, а не только за окончательный вывод. Это означает, что модель будет получать «баллы» за каждый логически верный этап в процессе поиска ответа. Такая система, основанная на принципах reinforcement learning from human feedback (RLHF), но с акцентом на промежуточные шаги, призвана сделать процесс генерации ответов более прозрачным и надежным.

Это в итоге должно привести к тому, что «цепочки мыслей» бота будут максимально схожи с человеческими. Вместо того чтобы выдавать сгенерированный «на глаз» ответ, ChatGPT будет демонстрировать пошаговый процесс, подобный тому, как человек размышляет над сложной задачей. Это позволит пользователям лучше понимать, как был получен тот или иной результат, и выявлять потенциальные ошибки на ранних стадиях.

Преимущества новой системы:

• Повышенная точность: Модель будет меньше склонна к «галлюцинациям», поскольку будет вознаграждаться за каждый верный шаг, а не только за финальный результат.
• Улучшенная интерпретируемость: Пользователи смогут видеть логическую цепочку рассуждений, что повысит доверие к ответам.
• Более естественное взаимодействие: «Цепочки мыслей», приближенные к человеческим, сделают общение с ботом более интуитивным.

Эта инновационная методика обучения, вероятно, потребует значительных доработок в алгоритмах AI training и model fine-tuning. OpenAI активно исследует различные подходы к improving LLM reliability и reducing AI hallucinations, и данное решение является одним из ключевых шагов в этом направлении.

Discover More о том, как OpenAI меняет будущее искусственного интеллекта.