Результаты тестирования на одном и том же наборе запросов
| Модель | Отказалась отвечать | Правильных ответов | Ошибок |
|---|---|---|---|
| gpt-5-thinking-mini | 52% | 22% | 26% |
| OpenAI o4-mini | 1% | 24% | 75% |
Шесть базовых приёмов, которые снижают риск ошибок и выдумок в работе с языковыми моделями.
| Способ | От чего защищает |
|---|---|
| RAG | Выдумывания фактов |
| Цитаты и ссылки | Непроверяемых ответов |
| Правило «не знаю» | Уверенных выдумок при нехватке данных |
| Узкая задача и формат | Слишком свободных ответов |
| Проверка ответа | Ошибок в числах, именах и фактах |
| Человек и тесты | Дорогих ошибок и «тихого» ухудшения качества |