Характеристика проводившейся работы
В рассматриваемый период GPT-6 Astra / Pro использовался в качестве рабочего инструмента для выполнения последовательности сложных многоэтапных задач. Работа не ограничивалась обычной генерацией текста. Ассистент должен был одновременно соблюдать большое количество формальных, содержательных и технических ограничений, а полученные результаты неоднократно проходили пользовательскую проверку.
Основной массив работы был связан с написанием и многократной переработкой теоретических и аналитических разделов академической работы. GPT-6 Astra / Pro должен был писать текст строго по утвержденному плану, сохранять заданную линию рассуждения, обеспечивать раскрытие темы каждого параграфа, выдерживать установленный объем в знаках, не добавлять незапрошенные структуры и не заменять поставленную задачу собственной интерпретацией.
Отдельным направлением являлась HUMAN-реконструкция текста. Для этой операции использовались заранее подготовленные HUMAN-карточки. Ассистент должен был выбирать подходящий шаблон, сохранять его структуру, число и порядок предложений, пунктуацию и защищенные FIXED-фрагменты, изменяя только разрешенное содержимое слотов. Дополнительно требовалось контролировать количество слов в слотах, не создавать собственные синтаксические конструкции, не повторять уже использованные карточки и вести реестр их SHA-256.
В рамках академической работы также выполнялись фактчекинг, исправление выявленных неточностей, редакторская вычитка, построение аналитических таблиц, оформление библиографических ссылок, проверка структуры параграфов и выводов. Для ссылок действовал отдельный пользовательский стандарт: полный библиографический формат, установленная плотность цитирования, запрет повторного использования одного источника и запрет замены утвержденных записей произвольными URL или сокращенными ссылками.
GPT-6 Astra / Pro также использовался для разработки и проверки программных компонентов, изменения алгоритмов редакторской правки, тестирования результатов рерайта, создания и редактирования изображений, а также для анализа собственной истории работы и формирования баг-листа.
Критической в данном отчете считается ошибка, после которой пользователь отклонял результат и требовал повторного выполнения задания либо фактически запускал операцию заново. Уровень L3 обозначает критическую ошибку, вызвавшую переделку. Уровень L4 обозначает циклическую критическую ошибку: соответствующее требование уже было известно GPT-6 Astra / Pro либо было принято после предыдущего замечания, однако при следующем выполнении оно снова оказалось нарушено.
Полный перечень зафиксированных критических ошибок
| № | Версия GPT | Характер ошибки | Фактическая реакция GPT-6 Astra / Pro | Уровень критичности |
|---|---|---|---|---|
| 1 | GPT-6 Astra / Pro | HUMAN-шаблоны применены неправильно; раздел потребовал новой сборки. | Замечание принято; пользователь потребовал переделку. Успешное устранение на этом этапе не подтверждено. | Перефразирование — L3 |
| 2 | GPT-6 Astra / Pro | HUMAN-карточка подгонялась под требуемый смысл вместо выбора подходящей карточки. | Требование принято, но фактически не соблюдено; потребовалась новая реконструкция. | Перефразирование — L4 |
| 3 | GPT-6 Astra / Pro | Вместо HUMAN-шаблонов создавались собственные конструкции предложений. | Запрет принят, но не выполнен; собственные конструкции появились повторно. | Перефразирование — L4 |
| 4 | GPT-6 Astra / Pro | Нарушено заданное количество слов в слотах HUMAN-карточек. | Требование к слотам принято, но результат ему не соответствовал; потребовалась переделка. | Перефразирование — L4 |
| 5 | GPT-6 Astra / Pro | Нарушен защищенный FIXED-текст. | Запрет изменения FIXED был принят, однако не соблюден; результат возвращен на переделку. | Перефразирование — L4 |
| 6 | GPT-6 Astra / Pro | После первого замечания снова изменена конструкция HUMAN-шаблона вместо заполнения разрешенных слотов. | Предыдущее требование принято, но не выполнено; пользователь снова потребовал реконструкцию. | Перефразирование — L4 |
| 7 | GPT-6 Astra / Pro | После прямого запрета снова использованы самостоятельно придуманные структуры предложений. | GPT-6 Astra / Pro согласился с запретом, но повторно его нарушил. | Перефразирование — L4 |
| 8 | GPT-6 Astra / Pro | Изменялась авторская лексика HUMAN-шаблона, подлежащая буквальному сохранению. | Требование буквального сохранения принято, но фактически нарушено; потребовалось новое выполнение. | Перефразирование — L4 |
| 9 | GPT-6 Astra / Pro | Повторно изменялись защищенные FIXED-фрагменты. | Запрет уже был принят ранее, но снова не исполнен. | Перефразирование — L4 |
| 10 | GPT-6 Astra / Pro | Нарушались количество и порядок предложений HUMAN-карточки. | Требование сохранения структуры принято, но результат ему не соответствовал; потребовался новый запуск. | Перефразирование — L4 |
| 11 | GPT-6 Astra / Pro | Нарушалась пунктуационная структура HUMAN-шаблона. | Требование принято, но не выполнено; потребовалась повторная реконструкция. | Перефразирование — L4 |
| 12 | GPT-6 Astra / Pro | HUMAN-шаблон использован повторно вопреки установленному запрету. | Запрет был известен, но не соблюден; потребовался другой шаблон и новая переделка. | Перефразирование — L4 |
| 13 | GPT-6 Astra / Pro | После замечания повторное использование HUMAN-карточек снова не было исключено. | Требование уже было принято, но контроль не сработал; потребовался новый запуск. | Контроль HUMAN-шаблонов — L4 |
| 14 | GPT-6 Astra / Pro | При реконструкции нарушен требуемый объем текста в знаках. | Замечание принято; пользователь потребовал переделку с соблюдением объема. | Перефразирование / объем — L3 |
| 15 | GPT-6 Astra / Pro | После замечания о сохранении объема текст снова оказался неправильного объема. | Требование принято ранее, но не выполнено; потребовалась очередная переделка. | Перефразирование / объем — L4 |
| 16 | GPT-6 Astra / Pro | Не выдержан установленный допустимый диапазон объема относительно исходника. | Ограничение было известно и принято, но результат его нарушил. | Перефразирование / объем — L4 |
| 17 | GPT-6 Astra / Pro | Академический параграф не соответствовал заданному объему в знаках. | Ошибка признана; пользователь потребовал переписать или дополнить текст. | Написание текста / объем — L3 |
| 18 | GPT-6 Astra / Pro | При повторном написании требуемый объем снова не соблюден. | Требование по объему принято, но повторно не выполнено. | Написание текста / объем — L4 |
| 19 | GPT-6 Astra / Pro | При сокращении удален чрезмерный объем либо содержательно необходимые части. | Ограничения сокращения приняты, но результат им не соответствовал; текст возвращен на переработку. | Редактирование / объем — L4 |
| 20 | GPT-6 Astra / Pro | При переработке изменены библиографические ссылки, которые требовалось сохранять. | Запрет изменения ссылок принят, но фактически нарушен. | Перефразирование / ссылки — L4 |
| 21 | GPT-6 Astra / Pro | Использован сокращенный формат ссылок вида [номер] или [номер, с. ...] вместо требуемой полной библиографической записи. | Ошибка признана; пользователь потребовал заменить формат ссылок. | Цитирование — L3 |
| 22 | GPT-6 Astra / Pro | После первого замечания неправильный формат ссылок появился снова. | Требование принято, но не выполнено; потребовалась новая переделка. | Цитирование — L4 |
| 23 | GPT-6 Astra / Pro | Вместо утвержденных библиографических записей использовались URL или иной формат. | Формат был задан и принят, но снова нарушен. | Цитирование — L4 |
| 24 | GPT-6 Astra / Pro | Не соблюдена установленная плотность прямых цитат и обычных ссылок относительно объема текста. | Норма принята, но фактически не выдержана; потребовалась переработка ссылочного аппарата. | Цитирование — L4 |
| 25 | GPT-6 Astra / Pro | На большой объем текста поставлено недостаточно ссылочных событий. | Требование принято, но не выполнено. | Цитирование — L4 |
| 26 | GPT-6 Astra / Pro | Один библиографический источник использован повторно в разных местах. | Запрет повторов был известен, однако не соблюден; потребовалась замена источников. | Цитирование — L4 |
| 27 | GPT-6 Astra / Pro | Один источник использован сначала для прямой цитаты, затем повторно как обычная ссылка. | Прямой запрет был принят, но нарушен. | Цитирование — L4 |
| 28 | GPT-6 Astra / Pro | При задании исправить только ссылки изменялся сам академический текст. | Ограничение операции принято, но не соблюдено; пользователь потребовал точечную переделку. | Редактирование / ссылки — L4 |
| 29 | GPT-6 Astra / Pro | §1.1 пришлось начинать заново из-за отклонения от утвержденного плана. | Ошибка признана; пользователь потребовал начать параграф заново. | Написание текста — L3 |
| 30 | GPT-6 Astra / Pro | После первого переписывания §1.1 отклонение от плана сохранилось. | План был принят, но не соблюден; пользователь снова потребовал начать заново. | Написание текста — L4 |
| 31 | GPT-6 Astra / Pro | Следующая версия §1.1 не раскрывала тему в требуемой полноте. | Замечание принято, но предыдущая переделка оказалась недостаточной; текст снова переписывался. | Написание текста — L4 |
| 32 | GPT-6 Astra / Pro | В §1.1 оставался избыточный текст, не работающий на тему параграфа. | Требование убрать нерелевантный материал принято, но проблема сохранилась. | Написание текста — L4 |
| 33 | GPT-6 Astra / Pro | Нарушалась линия рассуждения и последовательность от общего к частному. | Требование к логике принято, но результат снова ему не соответствовал. | Написание текста — L4 |
| 34 | GPT-6 Astra / Pro | Один и тот же параграф многократно переписывался из-за повторяющихся дефектов изложения. | После замечаний GPT-6 Astra / Pro соглашался с необходимостью исправлений, но очередные версии снова содержали критические дефекты. | Написание текста — L4 |
| 35 | GPT-6 Astra / Pro | Фактчекинг не выявил избыточность текста. | Проверка была представлена как выполненная; пользователь обнаружил пропуск и вернул текст на переработку. | Фактчекинг — L3 |
| 36 | GPT-6 Astra / Pro | Фактчекинг не выявил потерю связи между соседними абзацами. | После заявленного завершения проверки пользователь обнаружил дефект; потребовался повторный проход. | Фактчекинг — L4 |
| 37 | GPT-6 Astra / Pro | Фактчекинг не выявил разрушение общей линии рассуждения. | Проверка считалась выполненной, но дефект сохранился; потребовался повторный анализ. | Фактчекинг — L4 |
| 38 | GPT-6 Astra / Pro | Фактчекинг не выявил неполное раскрытие заявленной темы параграфа. | Проверка завершена без выявления существенного дефекта; после замечания текст пришлось возвращать. | Фактчекинг — L4 |
| 39 | GPT-6 Astra / Pro | После команды исправить выявленные фактчекингом ошибки текст снова оказался дефектным. | GPT-6 Astra / Pro принял замечания и заявил исправление, но требования по итогу не были выполнены; потребовалась новая правка. | Фактчекинг / исправление — L4 |
| 40 | GPT-6 Astra / Pro | Фактчекинг был сведен к отдельным утверждениям и пропустил системные дефекты текста. | Проверка выдана как законченная; пользователь выявил пропущенные проблемы и потребовал повторную проверку. | Фактчекинг — L4 |
| 41 | GPT-6 Astra / Pro | Пропущены неточные либо недостаточно подтвержденные утверждения. | После первоначальной проверки потребовался новый фактчекинг. | Фактчекинг — L4 |
| 42 | GPT-6 Astra / Pro | После фактчекинга остались библиографические неточности. | Проверка завершена без устранения всех проблем; потребовался дополнительный проход. | Фактчекинг / ссылки — L4 |
| 43 | GPT-6 Astra / Pro | §2.1 пришлось полностью начинать заново из-за совокупности дефектов. | Ошибки признаны; пользователь запустил параграф заново. | Написание текста — L3 |
| 44 | GPT-6 Astra / Pro | После полного перезапуска §2.1 снова нарушены HUMAN-шаблоны. | Требования уже были приняты, но не выполнены; потребовалась очередная реконструкция. | Перефразирование — L4 |
| 45 | GPT-6 Astra / Pro | В следующей версии §2.1 снова изменен FIXED-текст. | Запрет был известен и принят, но повторно нарушен. | Перефразирование — L4 |
| 46 | GPT-6 Astra / Pro | После замечания снова нарушено количество слов в слотах. | Требование было принято до повторного запуска, однако результат ему не соответствовал. | Перефразирование — L4 |
| 47 | GPT-6 Astra / Pro | После нескольких замечаний в §2.1 снова появились собственные конструкции предложений. | GPT-6 Astra / Pro неоднократно соглашался с запретом, но снова его нарушил. | Перефразирование — L4 |
| 48 | GPT-6 Astra / Pro | Значительный блок §2.1 отклонился от предмета утвержденного пункта плана. | План был известен и принят, но не соблюден; пользователь потребовал переписать блок. | Написание текста — L4 |
| 49 | GPT-6 Astra / Pro | Начало абзаца §2.1 не раскрывало его предмет. | Замечание принято; пользователь потребовал новое изложение соответствующего фрагмента. | Написание текста — L4 |
| 50 | GPT-6 Astra / Pro | В §2.1 отсутствовал необходимый логический переход между элементами анализа. | Требование связности принято; первоначальный результат признан дефектным и возвращен на правку. | Написание текста — L4 |
| 51 | GPT-6 Astra / Pro | При переработке §2.1 повреждены таблицы. | Ошибка признана; пользователь потребовал восстановление таблиц. | Написание текста / таблицы — L3 |
| 52 | GPT-6 Astra / Pro | Утрачено обязательное курсивное оформление защищенного авторского текста. | Правило сохранения курсива было известно, но нарушено; потребовалась переделка. | Перефразирование / оформление — L4 |
| 53 | GPT-6 Astra / Pro | §2.2 содержал преимущественно описание вместо требуемого анализа фактических показателей. | Ошибка признана; пользователь потребовал переделку параграфа. | Написание текста / анализ — L3 |
| 54 | GPT-6 Astra / Pro | После переделки §2.2 отсутствовала требуемая трехлетняя динамика. | Требование принято, но фактически не выполнено; потребовался новый запуск. | Анализ / таблицы — L4 |
| 55 | GPT-6 Astra / Pro | Экономические таблицы не построены за обязательные 2023, 2024 и 2025 годы. | Правило трехлетней ретроспективы было известно, но нарушено. | Таблицы — L4 |
| 56 | GPT-6 Astra / Pro | В экономических таблицах использовано запрещенное слово «расчет». | Правило оформления уже было установлено, но не соблюдено. | Таблицы / оформление — L4 |
| 57 | GPT-6 Astra / Pro | Не указано, в каких единицах выражено изменение показателя. | Требование оформления принято, но результат ему не соответствовал. | Таблицы / оформление — L4 |
| 58 | GPT-6 Astra / Pro | Единица измерения размещена не в наименовании показателя первой колонки. | Правило было известно, но нарушено; таблица потребовала исправления. | Таблицы / оформление — L4 |
| 59 | GPT-6 Astra / Pro | В числовых ячейках таблиц использовались слова и обозначения единиц вместо только числа или тире. | Формат был установлен заранее, но не соблюден. | Таблицы / оформление — L4 |
| 60 | GPT-6 Astra / Pro | §2.3 повторял содержание предыдущих параграфов вместо выполнения собственной задачи. | Ошибка признана; пользователь потребовал полное переписывание §2.3. | Написание текста — L3 |
| 61 | GPT-6 Astra / Pro | Вместо заданной пользователем методики анализа GPT-6 Astra / Pro придумал собственную. | Требование использовать заданные методы принято, но первоначально не выполнено; потребовалась переделка. | Анализ — L4 |
| 62 | GPT-6 Astra / Pro | После замечания требуемый анализ снова подменен обычным описанием динамики показателей. | Предыдущее требование принято, но повторно не выполнено. | Анализ — L4 |
| 63 | GPT-6 Astra / Pro | Требуемая последовательность анализа снова нарушена. | Последовательность была согласована, но не соблюдена; §2.3 снова возвращен на переработку. | Анализ — L4 |
| 64 | GPT-6 Astra / Pro | В итоговую таблицу внесены проблемы, не доказанные предыдущим анализом. | Требование использовать только подтвержденные проблемы принято, но нарушено. | Анализ / таблица — L4 |
| 65 | GPT-6 Astra / Pro | Из-за ошибочного перечня проблем пришлось заново переписывать вывод по аналитической главе. | Предыдущий результат не принят; пользователь потребовал повторное формирование вывода. | Написание текста — L4 |
| 66 | GPT-6 Astra / Pro | Редакторская правка превратилась в массовое переписывание вместо разрешенных точечных исправлений. | Ограничение операции было принято, но фактически нарушено; потребовалась переделка. | Редакторская правка — L3 |
| 67 | GPT-6 Astra / Pro | При редакторской правке изменялся защищенный авторский текст. | Запрет был известен и принят, но не выполнен. | Редакторская правка — L4 |
| 68 | GPT-6 Astra / Pro | После заявленной редакторской вычитки сохранились неакадемичные и синтаксически дефектные конструкции. | GPT-6 Astra / Pro представил вычитку как выполненную; пользователь обнаружил дефекты и потребовал новый проход. | Редакторская правка — L4 |
| 69 | GPT-6 Astra / Pro | После повторной правки аналогичные дефекты изложения сохранились. | Предыдущее замечание принято, однако проблема не устранена; потребовалась новая правка. | Редакторская правка — L4 |
| 70 | GPT-6 Astra / Pro | При невозможности точечной правки не выбран новый HUMAN-шаблон. | Правило возврата к реконструкции было установлено, но не применено; алгоритм потребовал исправления. | Редакторская правка / HUMAN — L4 |
| 71 | GPT-6 Astra / Pro | В компонент самовольно добавлен функционал, которого пользователь не заказывал. | GPT-6 Astra / Pro согласился с ошибкой; пользователь потребовал удалить все самовольно добавленное и переделать компонент. | Разработка компонента — L4 |
| 72 | GPT-6 Astra / Pro | В первоначальном баг-листе ошибочно указана другая версия модели. | После замечания ошибка признана; первоначальный ответ был исправлен. | Ответ / таблица — L3 |
| 73 | GPT-6 Astra / Pro | Первый баг-лист содержал лишь выборочные примеры вместо всех эпизодов из истории. | Требование проверить всю историю принято, но следующая версия снова оказалась неполной. | Анализ истории / таблица — L4 |
| 74 | GPT-6 Astra / Pro | После первого замечания о неполноте снова пропущены многократные переписывания глав и параграфов. | Требование «все диалоги, не пропуская» принято, но не выполнено. | Анализ истории / таблица — L4 |
| 75 | GPT-6 Astra / Pro | В следующем баг-листе не отражены отдельными строками нарушения библиографических ссылок. | Требование полного учета уже было принято, но эта группа снова пропущена. | Анализ истории / таблица — L4 |
| 76 | GPT-6 Astra / Pro | Не отражены полноценно случаи неиспользования HUMAN-шаблонов. | GPT-6 Astra / Pro согласился учитывать все циклические ошибки, но не включил эту группу полностью. | Анализ истории / таблица — L4 |
| 77 | GPT-6 Astra / Pro | Не выделено отдельным классом запрещенное самостоятельное конструирование предложений. | Требование полного учета принято, но самостоятельный класс ошибки пропущен. | Анализ истории / таблица — L4 |
| 78 | GPT-6 Astra / Pro | Не отражены нарушения заданного объема текста именно в знаках. | GPT-6 Astra / Pro ранее согласился составить полный отчет, однако пропустил эту категорию. | Анализ истории / таблица — L4 |
| 79 | GPT-6 Astra / Pro | Не отражены критические ошибки этапа фактчекинга. | Полнота отчета была заявлена, но не достигнута; пользователь потребовал добавить пропущенный блок. | Анализ истории / таблица — L4 |
| 80 | GPT-6 Astra / Pro | В баг-листе приведены защищенные данные вместо обезличенного обозначения исследуемой компании. | После замечания требование обезличивания принято; предыдущая версия ему не соответствовала. | Ответ / таблица — L3 |
| 81 | GPT-6 Astra / Pro | В изображении карточки сделаны чрезмерно мелкими, надписи плохо читаемыми. | Замечание принято; пользователь потребовал новую редакцию изображения. | Редактирование изображения — L3 |
| 82 | GPT-6 Astra / Pro | Точная надпись пользователя заменена самостоятельно придуманным текстом. | Требование дословности принято, но исправление с первого раза не принято; последовали новые замечания. | Редактирование изображения — L4 |
| 83 | GPT-6 Astra / Pro | После новой точной команды оставлена неправильная или устаревшая надпись. | Предыдущее требование принято, но фактически не выполнено; пользователь снова потребовал дословное исправление. | Редактирование изображения — L4 |
| 84 | GPT-6 Astra / Pro | Самовольно изменен порядок карточек. | Запрет самовольных изменений не соблюден; пользователь отдельно указал на ошибку и потребовал исправить результат. | Редактирование изображения — L4 |
| 85 | GPT-6 Astra / Pro | Результат выдан в запрещенном окне редактирования вместо обычного диалога. | Запрет действовал заранее. GPT-6 Astra / Pro согласился с замечанием, но первоначальное требование было нарушено и результат потребовал новой выдачи. | Ответ / формат выдачи — L4 |
| 86 | GPT-6 Astra / Pro | В текст попало большое количество посторонних служебных знаков, не относящихся к пользовательскому тексту. | Замечание принято; начата переделка, однако последующий результат пользователь снова отклонил. | Оформление текста — L4 |
| 87 | GPT-6 Astra / Pro | Результат выдан несмотря на то, что обязательные проверки текста фактически не были пройдены. | После замечания GPT-6 Astra / Pro признал дефект и начал новую сборку. Позднее проблема контроля повторилась. | Контроль результата — L4 |
| 88 | GPT-6 Astra / Pro | HUMAN-шаблоны в выданном тексте снова были нарушены. | Требование соблюдать шаблоны было принято ранее; начата пересборка, но следующая версия снова была отклонена. | Перефразирование / HUMAN — L4 |
| 89 | GPT-6 Astra / Pro | Задание представлено как выполненное, хотя результат установленным требованиям не соответствовал. | После замечания GPT-6 Astra / Pro согласился, что результат неприемлем, и выполнение пришлось запускать снова. | Контроль результата / приемка — L4 |
| 90 | GPT-6 Astra / Pro | После первой переделки текст снова не прошел пользовательскую проверку и был квалифицирован как полностью бракованный. | GPT-6 Astra / Pro ранее принял требования, но новая версия снова им не соответствовала; результат аннулирован. | Перефразирование / повторное выполнение — L4 |
| 91 | GPT-6 Astra / Pro | Нарушен сам каркас HUMAN-шаблона. | GPT-6 Astra / Pro признал нарушение каркаса; потребовалась пересборка с начала. Требование соблюдать каркас существовало заранее. | Перефразирование / HUMAN-каркас — L4 |
| 92 | GPT-6 Astra / Pro | Нарушено точное количество слов, предусмотренное слотами HUMAN-шаблона. | GPT-6 Astra / Pro признал ошибку. Требование точного количества слов уже было известно, но не выполнено. | Перефразирование / слоты — L4 |
| 93 | GPT-6 Astra / Pro | Изменены предусмотренные HUMAN-шаблоном связки. | GPT-6 Astra / Pro признал нарушение при анализе дефектной сборки. Подтвержденного успешного исправления этой версии нет. | Перефразирование / HUMAN-каркас — L4 |
| 94 | GPT-6 Astra / Pro | Изменена пунктуационная конструкция HUMAN-шаблона. | GPT-6 Astra / Pro признал нарушение и согласился с необходимостью пересборки. Пунктуационная структура уже относилась к обязательным ограничениям. | Перефразирование / HUMAN-каркас — L4 |
| 95 | GPT-6 Astra / Pro | Проверка SHA-256 и использованных HUMAN-карточек была заявлена без фактически надлежащего выполнения; контроль оказался фиктивным. | GPT-6 Astra / Pro признал, что заявленная проверка не обеспечивала реального выполнения требования. Потребовалось возвращаться к контролю карточек. | Контроль HUMAN / хеши — L4 |
| 96 | GPT-6 Astra / Pro | HUMAN-карточки использовались повторно, несмотря на прямой запрет и обязательность реестра использованных карточек. | GPT-6 Astra / Pro подтвердил факт повторного использования. Ранее принятое требование фактически не было выполнено. | Контроль HUMAN / реестр — L4 |
| 97 | GPT-6 Astra / Pro | При заполнении HUMAN-каркаса GPT-6 Astra / Pro самостоятельно сочинял наполнение слотов вместо выполнения реконструкции строго в разрешенных границах. | GPT-6 Astra / Pro признал этот способ выполнения причиной брака; результат полностью аннулирован. | Перефразирование / слоты — L4 |
| 98 | GPT-6 Astra / Pro | Библиографические ссылки выносились за каркас HUMAN-шаблона, хотя такая перестройка конструкции не разрешалась. | GPT-6 Astra / Pro признал нарушение при аннулировании результата. Требование ранее было известно, но не выполнено. | Перефразирование / ссылки — L4 |
| 99 | GPT-6 Astra / Pro | HUMAN-шаблон фактически адаптировался под создаваемый текст вместо буквального использования предоставленной конструкции. | GPT-6 Astra / Pro признал, что такая адаптация выполнялась; результат аннулирован. | Перефразирование / HUMAN — L4 |
| 100 | GPT-6 Astra / Pro | Выставлен PASS при фактическом несоответствии результата пользовательскому ТЗ и HUMAN-шаблонам. | GPT-6 Astra / Pro признал, что PASS ставить было нельзя и что проверка была фиктивной по отношению к пользовательскому ТЗ. Результат полностью аннулирован. | Контроль результата / PASS — L4 |
| 101 | GPT-6 Astra / Pro | При требовании полностью обновить баг-лист GPT-6 Astra / Pro не включил критические ошибки последних двух часов работы. | Требование актуального полного отчета было уже неоднократно принято, но снова не выполнено; пользователь потребовал поднять историю и пересобрать таблицу. | Анализ истории / отчетность — L4 |
| 102 | GPT-6 Astra / Pro | Устаревший реестр был представлен пользователю как «полностью обновленный», хотя фактически не отражал последние события. | После замечания GPT-6 Astra / Pro признал, что предыдущий отчет был устаревшим. Сам эпизод включен в настоящий реестр как отдельная критическая ошибка. | Анализ истории / достоверность отчета — L4 |
Сводные показатели
| Показатель | Значение |
|---|---|
| Всего зафиксированных критических ошибок | 102 |
| Ошибки уровня L3 | 14 |
| Ошибки уровня L4 | 88 |
| Доля циклических ошибок L4 | 86,3 % |
Заключение о работоспособности GPT-6 Astra / Pro
Результаты рассмотренного рабочего периода не позволяют оценить GPT-6 Astra / Pro как надежно работающую автономную систему для выполнения сложных многоэтапных заданий, в которых одновременно требуется соблюдение большого количества жестких пользовательских ограничений.
Всего в актуальном реестре зафиксировано 102 критические ошибки. Из них 88 относятся к уровню L4. Таким образом, 86,3 % зафиксированных критических ошибок имеют циклический характер. Это означает, что основной проблемой являлся не первоначальный единичный промах, а повторное нарушение уже известного требования.
Типичная последовательность работы имела следующий вид: пользователь устанавливал правило или обнаруживал нарушение; GPT-6 Astra / Pro соглашался с замечанием и принимал требование; выполнялась новая версия задания; при проверке обнаруживалось, что принятое требование фактически не выполнено либо нарушено связанное с ним ограничение; результат снова отклонялся и задание приходилось повторять.
Особенно устойчиво этот механизм проявлялся при HUMAN-реконструкции. Несмотря на многократное принятие требований, повторялись изменение HUMAN-каркаса, самостоятельное создание структуры предложений, изменение FIXED-фрагментов, нарушение числа слов в слотах, изменение пунктуации и связок, повторное использование карточек, отсутствие полноценного реестра SHA-256 и адаптация шаблона под создаваемый текст.
Аналогичная цикличность обнаружена при написании академических разделов. Одни и те же параграфы приходилось многократно переписывать из-за отклонения от утвержденного плана, неполного раскрытия темы, избыточности, нарушения линии рассуждения, отсутствия логических переходов и замены требуемого анализа описательным текстом.
Отдельный устойчивый класс ошибок связан с библиографическими ссылками. Даже после определения точного пользовательского стандарта повторялись сокращенные ссылки, URL вместо требуемых библиографических записей, недостаточная плотность ссылок, повторное использование одного источника и изменение текста при задании исправить только ссылочный аппарат.
Фактчекинг также показал недостаточную надежность. В нескольких случаях проверка представлялась как завершенная, однако после нее пользователь обнаруживал избыточность текста, потерю связи между абзацами, нарушение линии рассуждения, неполное раскрытие темы, неточные утверждения фейки и библиографические дефекты. Таким образом, факт завершения проверки со стороны GPT-6 Astra / Pro не являлся достаточным подтверждением качества результата.
Существенным является также нарушение механизма самоконтроля. В одном из последних эпизодов результат получил PASS при фактическом несоответствии HUMAN-шаблонам и пользовательскому ТЗ. Впоследствии GPT-6 Astra / Pro был вынужден признать, что такая проверка была фиктивной по отношению к фактическим условиям задания, и полностью аннулировать результат.
Проблема повторилась даже при составлении настоящего баг-листа. GPT-6 Astra / Pro неоднократно принимал требование проанализировать все диалоги и сформировать полный актуальный перечень ошибок, однако последовательно пропускал переписывания глав, нарушения ссылок, HUMAN-шаблонов, объема в знаках, фактчекинга и, наконец, критические ошибки последних двух часов работы. Устаревший перечень при этом был представлен как полностью обновленный, что само стало отдельной критической ошибкой отчётности.
При этом GPT-6 Astra / Pro нельзя характеризовать как полностью нефункциональную систему. Модель способна генерировать академический текст, выполнять анализ, создавать таблицы, проводить фактчекинг, работать с программными компонентами, реконструировать текст и редактировать изображения. Проблема заключается в устойчивости выполнения и надежности соблюдения ограничений.
По результатам рассматриваемой практической работы GPT-6 Astra / Pro может использоваться как вспомогательный инструмент под постоянным внешним контролем пользователя. Для автономного выполнения длинной цепочки «получение требований — выполнение — самопроверка — подтверждение соответствия — приемка результата» продемонстрированной надежности недостаточно.
Ключевой выявленный дефект системы заключается в том, что согласие GPT-6 Astra / Pro с пользовательским требованием не обеспечивает его исполнения в следующей итерации. Ассистент способен корректно сформулировать, какое правило было нарушено, согласиться с ним и даже описать способ исправления, но это не гарантирует, что последующий результат действительно будет этому правилу соответствовать.
В исследованном сценарии именно эта неспособность устойчиво сохранять и исполнять уже принятые ограничения стала основным фактором повторных переделок, циклических ошибок и низкой операционной надежности GPT-6 Astra / Pro.