Способен ли AI генерировать качественный контент. Эксперимент Terakeet

В мае 2024 года компания Terakeet опубликовала на своем сайте результаты исследования «ИИ против человеческого контента», в котором эксперты поделились собственной методологией анализа качества контента и рассказали, почему сегодня ИИ — всего лишь инструмент, но не решение. Мы собрали самые интересные сведения из этого исследования и хотим рассказать о них вам.

Важность исследования и его методология

С каждым годом интерес к искусственному интеллекту лишь возрастает, а технологии развиваются с огромной скоростью. Только недавно вышла во многих отношениях революционная версия ChatGPT-4o, а разработчики из OpenAI уже активно обсуждают следующие модели — GPT-5 и GPT-6.

Искусственный интеллект так или иначе все глубже проникает в нашу с вами повседневную жизнь и самые разные сферы деятельности. В то же время вопросы о его эффективности и целесообразности использования становятся все острее. Поэтому стоит понять, действительно ли ИИ-сгенерированный контент можно использовать в своей профессиональной деятельности или же он не соответствует необходимым качественным показателям.

Исследователи Terakeet подготовили список задач по созданию контента, идентичные подсказки (промпты) и данные для нескольких популярных ИИ-инструментов для генерации контента — те же, которые получают авторы-люди. А затем оценили результаты работы каждого из этих инструментов по ряду ключевых параметров.

Для участия в эксперименте были отобраны инструменты ИИ, которые как раз таки ориентированы на создание контента:

• Jasper — инструмент ИИ корпоративного уровня, который ориентирован на использование маркетинговыми компаниями для повышения скорости и производительности в работе.
• Typeface — искусственный интеллект для создания корпоративного контента, позволяющий генерировать материалы в фирменном стиле бренда и с максимальной скоростью.
• Writesonic — сервис генерации SEO-оптимизированного контента для сайтов, блогов и рекламы на разных площадках.
• Copy.ai — ИИ-платформа для автоматического создания, оптимизации и проверки контента в больших объемах.
• ChatGPT (GPT 3.5 and GPT 4.0) — флагманские [на момент тестирования] модели генеративного искусственного интеллекта от OpenAI.

Справка. В период проведения тестирования Terakeet OpenAI еще не презентовала свою новую модель ChatGPT-4o, которая во многих аспектах стала лучше, чем 4,0. Этот момент важно учитывать, когда мы говорим о ChatGPT.

Перед этими инструментами были поставлены три задачи:

1. Создание контент-плана на основе предоставленной информации и с учетом требований SEO.
2. Генерация черновика контента, ориентированного на целевую аудиторию и с учетом мнения потребителей.
3. Создание уникального, фактического и доступного контента в соответствии с заданными требованиями.

К сожалению, в Terakeet не опубликовали конкретные примеры, какой контент им удалось получить с помощью вышеперечисленных инструментов. Но они тщательно проанализировали его по целому ряду параметров. Об этом — далее.

Методология анализа и результаты исследования

Каждая из трех выполненных задач оценивалась по ряду параметров:

1. Создание контент-плана:

• структура заголовков и контента;
• взаимосвязывающие и ориентированные на ЦА призывы к действию;
• полнота охвата и использование ключевых слов;
• ориентир на заданную аудиторию;
• использование соответствующих источников;
• учет требований по SERP.

2. Создание черновика:

• точность и актуальность информации;
• структура и содержание;
• источники и ссылки;
• таргетинг на ключевые слова;
• ориентир на аудиторию;
• качество самого контента;
• очевидность создания контента искусственным интеллектом.

3. Создание контента:

• уникальность;
• точность;
• доступность.

Как утверждают в Terakeet, по каждой из поставленных задач им, в целом, удалось получить материалы, которые удовлетворяют все критерии и результаты. Но без ряда нюансов тоже не обошлось.

Создание контент-плана

Все используемые инструменты ИИ смогли создать контент-план согласно заданным параметрам, но в Terakeet обратили внимание, что им сильно не хватает детализации, необходимой для генерации качественных материалов с учетом требований SEO.

Также исследователи обратили внимание, что инструменты искусственного интеллекта, похоже, не способны объективно оценивать существующие SERP, а структура планов во многом была продиктована исключительно данными, предоставленными пользователям.

Инструментам ИИ во многих случаях не удалось естественным образом добавить ключевые слова в текст, они часто переносились в заголовки разделов. Среди других недостатков — непоследовательное цитирование источников, ссылки на «мертвые» ресурсы и так называемые «галлюцинации», характерные для большинства инструментов искусственного интеллекта.

Создание черновика

Результаты исследования показали, что контент, сгенерированный ИИ, имеет структурные проблемы. Таким же проблематичным оказалось использование ключевых слов — они буквально диктовали структуру материала и были избыточными.

В текстах содержалась неточная информация, выводы к материалам часто выглядели «роботизированными» и неестественными, что в перспективе может сильно ухудшить вовлеченность читателей.

В целом контент выглядел слишком шаблонным, не имел соответствующего тона, в нем часто использовалась разговорная речь и излишне эмоциональный, драматический язык. Но главное — его можно было слишком легко идентифицировать как ИИ-сгенерированный. Даже для черновика, который в дальнейшем будет дорабатываться, это серьезный недостаток.

Создание контента

Качество готовых материалов тоже вызвало немало вопросов. ИИ допускает множество неточностей, которые автоматически снижают доверие потенциального читателя. При этом данные неточности легко обнаружить. Соответственно, требуется комплексное редактирование и фактчекинг, что лишь увеличивает нагрузку на редактора.

В текстах были как и абсолютные утверждения (часто сомнительные), так и слишком широкие обобщения, не несущие особой информационной ценности. В них часто дублировались фразы, а сам контент во многих моментах напоминал уже существующие материалы — ему не хватало оригинальности.

При этом материалы были достаточно грамотными, без грамматических и других «технических» ошибок, хотя местами сильно перегруженными.

Что нам дает это исследование

Цель современной контент-стратегии — создавать уникальный, актуальный и полезный для читателя контент. Но на данном этапе очевидно, что искусственный интеллект не способен удовлетворить эти требования. В каждом из тестов Terakeet не удалось получить желаемый результат, который бы полностью соответствовал необходимым параметрам, — везде были недочеты.

Некоторые заключения команды Terakeet:

• ИИ фактически не создает новый контент, а лишь собирает свой материал на основе уже существующего. То есть он не несет какой-либо практической ценности, а лишь увеличивает количество «шума» в интернете. К тому же Google уже сейчас активно борется с ИИ-контентом, а в будущем санкции наверняка лишь усилятся.
• ИИ не может создавать новые идеи и точки зрения на тот или иной вопрос, так как оперирует лишь существующей и доступной ему информацией. Соответственно, практическая польза и ценность сгенерированного контента остаются под большим вопросом.
• ИИ все еще часто «галлюцинирует» и выдает ложную информацию за действительную. По этой причине над контентом в любом случает нужно дополнительно работать, проверять все факты, удалять ложные утверждения и тому подобное. А это дополнительные потери времени, и порой довольно значительные.

Исследователи Terakeet также проанализировали созданный ИИ контент по ряду критериев Google, чтобы оценить, насколько он соответствует действующим требованиям и рекомендациям поисковика. Результаты не впечатлили:

Итоги: искусственный интеллект — это всего лишь инструмент, не более того

«Слепое» использование искусственного интеллекта для создания контента — это большой риск. Такой подход ни в коем случае не должен быть вашей долгосрочной стратегией. Более того, уже сейчас нужно крайне осторожно подходить к использованию сгенерированного контента на собственном сайте. Google наверняка будет ужесточать санкции в отношении веб-сайтов, которые содержат такой контент. И чем его больше, тем более жесткими будут эти санкции, вплоть до удаления страниц сайта из результатов поиска.

В то же время полностью отказываться от ИИ тоже не стоит. Его можно (и даже нужно) использовать для различных вспомогательных целей:

• планирование контента и первичный сбор информации;
• получение полезных данных на стадии исследования темы;
• проверка читабельности, тона и грамматики готовых текстов;
• грамотная структуризация материалов и прочее.

Да, пока что ИИ не способен создавать действительно качественный и оригинальный материал, который вовлечет целевую аудиторию и предоставит ей уникальную информацию. Но он может существенно упростить и ускорить многие рабочие процессы, оптимизируя работу с контентом и автоматизируя несложные, но рутинные задачи: перевод текста, создание таблиц на основе предоставленной информации, объяснение сложных терминов более простым и понятным языком, и прочее.

Пользуйтесь инструментами ИИ. Но делайте это ответственно и взвешенно, оценивая все возможные риски. И не переусердствуйте, чтобы не столкнуться с негативными последствиями.