Чи здатний AI генерувати якісний контент. Експеримент Terakeet

У травні 2024 року компанія Terakeet опублікувала на своєму сайті результати дослідження «ШІ проти людського контенту», в якому експерти поділилися власною методологією аналізу якості контенту та розповіли, чому сьогодні ШІ — лише інструмент, але не рішення. Ми зібрали найцікавіші відомості з цього дослідження та хочемо розповісти про них вам.

Важливість дослідження та його методологія

З кожним роком інтерес до штучного інтелекту зростає, а технології розвиваються з величезною швидкістю. Тільки нещодавно вийшла багато в чому революційна версія ChatGPT-4o, а розробники з OpenAI вже активно обговорюють наступні моделі — GPT-5 і GPT-6.

Штучний інтелект так чи інакше все глибше проникає в наше з вами повсякденне життя і різні сфери діяльності. Водночас питання щодо його ефективності та доцільності використання стають дедалі гострішими. Тому варто зрозуміти, чи дійсно ШІ-згенерований контент можна використовувати у своїй професійній діяльності та чи відповідає він необхідним якісним показникам.

Дослідники Terakeet підготували список завдань щодо створення контенту, ідентичні підказки (промпти) та дані для кількох популярних ШІ-інструментів для генерації контенту — ті ж самі, що отримують автори-люди. А потім оцінили результати роботи кожного з них за рядом ключових параметрів.

Для участі в експерименті були відібрані інструменти ШІ, які саме орієнтовані на створення контенту:

• Jasper — інструмент корпоративного рівня, який орієнтований на використання маркетинговими компаніями для підвищення швидкості та продуктивності в роботі.
• Typeface — штучний інтелект для створення корпоративного контенту, що дозволяє генерувати матеріали у фірмовому стилі бренду з максимальною швидкістю.
• Writesonic  — сервіс генерації SEO-оптимізованого контенту для сайтів, блогів та реклами на різних майданчиках.
• Copy.ai — ШІ-платформа для автоматичного створення, оптимізації та перевірки контенту у великих обсягах.
• ChatGPT (GPT 3.5 і GPT 4.0) — Флагманські [на момент тестування] моделі генеративного штучного інтелекту від OpenAI.

Довідка. У період проведення тестування Terakeet OpenAI ще не презентувала свою нову модель ChatGPT-4o, яка в багатьох аспектах стала кращою, ніж 4,0. Цей момент важливо враховувати, коли ми говоримо про ChatGPT.

Перед цими інструментами було поставлено три завдання:

1. Створення контент-плану на основі наданої інформації та з урахуванням вимог SEO.
2. Генерація чернетки контенту, орієнтованого на цільову аудиторію та з урахуванням думки споживачів.
3. Створення унікального, фактичного та доступного контенту відповідно до заданих вимог.

На жаль, Terakeet не опублікували конкретні приклади, який контент їм вдалося отримати за допомогою перерахованих вище інструментів. Але вони ретельно проаналізували його за цілим рядом параметрів. Про це далі.

Методологія аналізу та результати дослідження

Кожне з трьох виконаних завдань оцінювалося за низкою параметрів:

1. Створення контент-плану:

• структура заголовків та контенту;
• взаємозв'язуючі та орієнтовані на ЦА заклики до дії;
• повнота охоплення та використання ключових слів;
• орієнтир на задану аудиторію;
• використання відповідних джерел;
• облік вимог щодо SERP.

2. Створення чернетки:

• точність та актуальність інформації;
• структура та зміст;
• джерела та посилання;
• таргетинг на ключові слова;
• орієнтир на аудиторію;
• якість самого контенту;
• очевидність створення контенту штучним інтелектом

3. Створення контенту:

• унікальність;
• точність;
• доступність.

Як стверджують у Terakeet, по кожному з поставлених завдань їм загалом вдалося отримати матеріали, які задовольняють усі критерії та результати. Але без низки нюансів теж не обійшлося.

Створення контент-плану

Всі використовувані інструменти ШІ змогли створити контент-план згідно з заданими параметрами, але в Terakeet звернули увагу, що їм сильно не вистачає деталізації, необхідної для генерації якісних матеріалів з урахуванням вимог SEO.

Також дослідники зауважили, що інструменти штучного інтелекту, схоже, не здатні об'єктивно оцінювати існуючі SERP, а структура планів багато в чому була продиктована виключно даними, наданими користувачам.

Інструментам ШІ у багатьох випадках не вдалося природним чином додати ключові слова до тексту, вони часто переносилися до заголовків розділів. Серед інших недоліків — непослідовне цитування джерел, посилання на «мертві» ресурси, а також так звані галюцинації, характерні для більшості інструментів штучного інтелекту.

Створення чернетки

Результати дослідження показали, що контент, згенерований ШІ, має структурні проблеми. Так само проблематичним виявилося використання ключових слів — вони буквально диктували структуру матеріалу і були надмірними.

У текстах містилася неточна інформація, висновки до матеріалів часто виглядали «роботизованими» та неприродними, що в перспективі може сильно погіршити залучення читачів.

Загалом контент виглядав надто шаблонним, не мав відповідного тону, у ньому часто використовувалася розмовна мова та надмірно емоційна, драматична. Але головне — його можна було надто легко ідентифікувати як ШІ-генерований. Навіть для чернетки, яка надалі доопрацьовуватиметься, це серйозна вада.

Створення контенту

Якість готових матеріалів також викликала чимало запитань. ШІ допускає безліч неточностей, які автоматично знижують довіру потенційного читача. При цьому ці неточності легко виявити. Відповідно, потрібно комплексне редагування та фактчекінг, що лише збільшує навантаження на редактора.

У текстах були як і абсолютні твердження (часто сумнівні), так і надто широкі узагальнення, які не мають особливої ​​інформаційної цінності. В них часто дублювалися фрази, а сам контент у багатьох моментах нагадував вже існуючі матеріали — йому не вистачало оригінальності.

При цьому матеріали були досить грамотними, без граматичних та інших «технічних» помилок, хоча місцями перевантаженими.

Що нам дає це дослідження

Мета сучасної контент-стратегії — створювати унікальний, актуальний та корисний для читача контент. Але на цьому етапі очевидно, що штучний інтелект не здатний задовольнити ці вимоги. У кожному з тестів Terakeet не вдалося отримати бажаний результат, який би повністю відповідав необхідним параметрам, — скрізь були недоліки.

Деякі висновки команди Terakeet:

• ШІ фактично не створює новий контент, а лише збирає свій матеріал на основі вже існуючого. Тобто він не несе будь-якої практичної цінності, а лише збільшує кількість «шуму» в інтернеті. До того ж Google вже зараз активно бореться з ШІ-контентом, а в майбутньому санкції напевно лише посиляться.
• ШІ не може створювати нові ідеї та точки зору на те чи інше питання, оскільки оперує лише наявною та доступною йому інформацією. Відповідно, практична користь та цінність згенерованого контенту залишаються під великим питанням.
• ШІ все ще часто «галюцинує» і видає неправдиву інформацію за дійсну. З цієї причини над контентом у будь-якому випадку потрібно додатково працювати, перевіряти всі факти, видаляти хибні твердження тощо. А це додаткові втрати часу, іноді досить значні.

Дослідники Terakeet також проаналізували створений ШІ контент за низкою критеріїв Google, щоб оцінити, наскільки він відповідає чинним вимогам та рекомендаціям пошуковика. Результати не вразили:

Підсумки: штучний інтелект — це лише інструмент, не більше

«Сліпе» використання штучного інтелекту для створення контенту — це великий ризик. Такий підхід у жодному разі не повинен бути вашою довгостроковою стратегією. Щобільше, вже зараз потрібно дуже обережно підходити до використання згенерованого контенту на власному сайті. Google, напевно, посилюватиме санкції щодо вебресурсів, які містять такий контент. І чим більше, тим жорсткішими будуть ці санкції, аж до видалення сторінок сайту з результатів пошуку.

Водночас повністю відмовлятися від ШІ теж не варто. Його можна (і навіть потрібно) використовувати для різних допоміжних цілей:

• планування контенту та первинний збір інформації;
• одержання корисних даних на стадії дослідження теми;
• перевірка читабельності, тону та граматики готових текстів;
• грамотна структуризація матеріалів та інше.

Так, поки що ШІ не здатний створювати справді якісний та оригінальний матеріал, який залучить цільову аудиторію та надасть їй унікальну інформацію. Але він може суттєво спростити та прискорити багато робочих процесів, оптимізуючи роботу з контентом та автоматизуючи нескладні, але рутинні завдання: переклад тексту, створення таблиць на основі наданої інформації, пояснення складних термінів більш простою та зрозумілою мовою тощо.

Використовуйте інструменти ШІ. Але робіть це відповідально та виважено, оцінюючи всі можливі ризики. І не перестарайтеся, щоб не зіткнутися з негативними наслідками.