Активное заимствование текстов из интернет несет риск, Интернет все больше становится генеративным, и доля генеративных текстов растет. Генеративный текст содержит оценки и утверждения, не подкрепленные фактами и это, в свою очередь, снижает научную ценность. «Детектор достоверности текста» предназначен для оценочной проверки учебных, научных, аналитических, публицистических и деловых материалов. Решение помогает обнаружить фрагменты текстового материала, которые выглядят убедительно, но не содержат достаточного доказательного основания: ссылок на источники, акторов, данных в виде проверяемого факта.
Польза компонента заключается в том, что он обращает внимание не только на происхождение текста (генеративный или написан человеком), но и анализирует качество содержащейся в нём аргументации. Генеративный текст может быть грамматически правильным, логично структурированным и написанным в научном стиле, однако содержать неопределённые формулировки: «исследования показывают», «эксперты считают», «значительная часть», «играет ключевую роль», «позволяет повысить эффективность», «может привести к негативным последствиям». Такие выражения создают впечатление доказанности, хотя конкретное основание утверждения может отсутствовать – «исследования показывают» - какие исследования, кто проводил, где проводил; «эксперты считают» - какие эксперты, И.О. Фамилия, где опубликовано исследование, как оно называется …
Пользователь вставляет текст в поле проверки и нажимает кнопку «Проверить текст». Для незарегистрированного пользователя на странице установлен лимит до 5 000 знаков, зарегистрированным предоставляется 10 000 знаков. После обработки компонент формирует три основных показателя:
- индекс генеративности;
- стилометрический профиль;
- маркеры доказательной обеспеченности текста.
Индекс генеративности отражает наличие 27 признаков, характерных для текстов, созданных или существенно переработанных генеративными моделями.
Стилометрический профиль характеризует особенности построения текста: структуру предложений, повторяемость речевых оборотов, распределение языковых конструкций и другие формальные признаки авторского изложения.
Показатель доказательной обеспеченности отражает, насколько проверяемые утверждения сопровождаются необходимыми основаниями, «решение» ищет утверждения, в которых отсутствуют конкретный источник, названный автор, организация, документ, метод получения данных, база сравнения, количественное значение или иное подтверждение.
Предлагаемое пользователям решение анализирует предложения и выделяет формулировки, связанные с неопределённой атрибуцией, недоказанной причинностью, оценочностью, прогнозами, универсальными обобщениями и необоснованными выводами.
К таким конструкциям, как пояснялось выше, относятся фразовые элементы: «исследования показывают» без указания исследования; «эксперты считают» без фамилий и источника; «многие специалисты» без определения исследуемой группы; «значительная часть» без количества или процента; «повышает эффективность» без показателей эффективности; «снижает риски» без расчёта вероятности; «обеспечивает высокое качество» без критериев качества; «впервые разработан» без анализа аналогов; «не имеет аналогов» без сравнительного исследования; «результаты исследования показали» без представления результатов; «следовательно, можно утверждать» без достаточных исходных посылок.
Дополнительно могут выявляться нормативные конструкции «должен», «обязан», «необходимо», «недопустимо», если рядом отсутствует ссылка на закон, стандарт, регламент, инструкцию или иной документ, устанавливающий соответствующее требование.
После проверки пользователь получает пояснение причин, по которым в тексте обнаружены признаки генеративности или недостаточной доказательности. Проблемные фрагменты отображаются непосредственно в тексте с диагностической подсветкой.
Для визуального разграничения используются уровни риска: требуется уточнение; неподтверждённое утверждение; высокий риск.
Отдельная сводная таблица содержит фрагмент утверждения, его категорию, указание на отсутствующий элемент доказательства и установленный уровень риска. Это позволяет не перечитывать весь документ вручную, а последовательно проверить только отмеченные предложения.
- Для студента компонент показывает, какие положения курсовой, выпускной квалификационной или магистерской работы необходимо дополнить ссылками, статистикой, цитатами, нормативными актами либо описанием методики.
- Для преподавателя и научного руководителя инструмент ускоряет первичную проверку текста и помогает отделить формально научный стиль от аргументированного изложения.
- Для редактора компонент служит средством поиска категоричных, оценочных и причинных формулировок, которые требуют уточнения или смягчения.
- Для автора аналитического или делового документа проверка позволяет обнаружить выводы, рекомендации и прогнозы, не связанные с исходными данными.
- Для организаций компонент может применяться при внутреннем контроле отчётов, экспертных заключений, методических материалов, информационных публикаций и документов, подготовленных с использованием генеративных моделей.
Компонент выполняет диагностический анализ текста, а не фактчекинг. Он выявляет языковые признаки недостаточного обоснования и указывает утверждения, которые необходимо проверить. Наличие маркера не означает автоматически, что утверждение является ложным. Оно означает, что автору следует обратить внимание на фрагмент текста и, в случае необходимости, представить источник, данные, метод, критерий оценки или более точную формулировку.
Таким образом, «Детектор достоверности текста» помогает перейти от формально убедительного текста к доказательно обеспеченному изложению. Он не подменяет эксперта, но существенно сокращает объём ручной проверки и показывает, какие утверждения требуют первоочередного внимания.