Анализ тональности отзывов: что считать

Анализ тональности отзывов показывает, как клиенты оценивают свой опыт в тексте: положительно, отрицательно, нейтрально или смешанно. Для бизнеса важнее следующий вопрос: за что хвалят и из-за чего жалуются. Одна общая доля негатива не объясняет, что нужно изменить в работе.

Разберём, как организовать разметку, проверить автоматический анализ и сравнить результаты. В статье есть калькулятор долей. Он считает введённые числа, не подключается к вашим отзывам и не определяет эмоции с помощью ИИ.

Тональность, оценка и тема — разные признаки

Пять звёзд не гарантируют, что весь текст положительный. Человек может похвалить товар и пожаловаться на доставку. Одна звезда тоже не объясняет причину недовольства: проблема бывает в цене, ожиданиях, общении или конкретной ошибке.

Это учебные примеры. Для вашей компании заранее определите, что относится к каждому классу. Фраза «на следующий день» может означать нормальный срок или задержку — это зависит от контекста и обещаний, которые нельзя выдумывать.

Не путайте смешанный отзыв с нейтральным. В первом есть разные оценки, во втором автор может просто сообщать факт. В документации Google Cloud тоже показано, что близкое к нулю значение общей тональности может скрывать сочетание положительных и отрицательных оценок. Это пример устройства анализа, а не описание конкретного алгоритма ЭГО.

Как провести анализ отзывов по шагам

1. Определите вопрос бизнеса

Начните с решения, которое хотите принять. Например: понять, что вызывает жалобы на доставку, оценить изменения после нового графика или найти удачные действия команды. Если вопрос сформулирован как «посмотреть все отзывы», отчёт легко превращается в набор красивых чисел без владельца задачи.

2. Зафиксируйте период и состав источников

Соберите отзывы из согласованных площадок и запишите, какие карточки, магазины или подразделения вошли в выборку. Сравнивайте одинаковые интервалы, например два полных месяца. Не смешивайте весь архив одной площадки с отзывами за неделю на другой.

Одинаковый текст, опубликованный в нескольких местах, может быть одним клиентским эпизодом. Введите отдельный признак возможного дубля. Не удаляйте похожие сообщения автоматически: у разных клиентов может быть одна и та же проблема. Правило подсчёта должно оставаться одинаковым в обоих периодах.

3. Разметьте тональность и темы отдельно

Для первой таблицы достаточно даты, источника, ссылки, текста, тональности, темы и отметки о ручной проверке. Если у отзыва несколько тем, сохраните каждую с собственной оценкой. Для примера с кофе полезны две записи темы: «кофе — положительно» и «очередь — отрицательно».

Тогда вопрос управляющему звучит предметно: «В отзывах об ожидании повторяется жалоба на очередь утром». Это лучше, чем «у нас негативная тональность». Для сравнения подразделений используйте отдельный отчёт по филиалам, сохраняя единые определения классов.

4. Отделите неразмеченные записи

Не заставляйте систему выбирать класс, если текста нет, язык не поддерживается или контекст неоднозначен. Оставьте статус «требует проверки». Иначе техническая ошибка незаметно превратится в нейтральный отзыв и изменит доли.

5. Свяжите вывод с действием

Для каждой повторяющейся проблемы укажите ответственного, изменение процесса и дату проверки. После этого посмотрите, повторяется ли тема в следующем сопоставимом периоде. Снижение доли жалоб не доказывает само по себе, что помогло именно ваше изменение: могли поменяться сезон, аудитория или источники.

Как читать результат без ошибочных выводов

В примере выше отрицательных отзывов 20 из 100 размеченных, то есть 20%. Ещё 10% — смешанные: их нельзя незаметно прибавить к негативным и сравнить с отчётом, где использовалось другое правило. Можно отдельно показать долю отзывов с любой отрицательной частью, но назвать показатель и описать расчёт.

Если из 120 записей 20 ещё не проверены, охват разметкой составляет 100 / 120 × 100% = 83,3%. Доля негативных среди размеченных остаётся 20%. Пока непроверенные тексты неизвестны, нельзя уверенно переносить этот результат на весь массив.

Всегда выводите рядом процент и число отзывов. Две жалобы из десяти и двести из тысячи дают одинаковые 20%, но представляют разный объём работы и разную устойчивость наблюдения. По малой выборке разумнее изучить тексты, чем объявлять тренд.

Этот показатель не является рейтингом площадки, NPS или процентом недовольных среди всех покупателей. Отзыв оставляет только часть аудитории; один человек может написать несколько раз. Поэтому изменения тональности полезны для поиска проблем, но не заменяют учёт обращений, повторных покупок и других результатов.

Как проверить автоматический анализ

Возьмите отдельную проверочную выборку, которую система не использовала при настройке. Включите короткие и длинные отзывы, смешанные оценки, разные источники и сарказм. Два сотрудника сначала размечают её независимо, затем разбирают расхождения и уточняют инструкцию.

Сравнивайте не только общую долю совпадений. Посчитайте, сколько реальных негативных отзывов система нашла и сколько положительных ошибочно назвала негативными. Если в выборке почти все отзывы хорошие, высокая общая точность может скрыть пропущенные жалобы. Единого процента качества, подходящего любой компании, нет.

Оставьте ручную проверку для спорных записей. Фразы «Ну прекрасно, опять перенесли» и «Не могу не похвалить» требуют понимания контекста и отрицаний. Смена ассортимента, формулировок клиентов или алгоритма — повод заново проверить качество на свежем материале.

Разметку нельзя превращать в автоматическое решение об удалении. Отрицательная тональность не означает нарушение правил площадки, а положительная не подтверждает подлинность отзыва. Для ответов и жалоб нужен отдельный процесс с проверкой оснований.

Как выбрать сервис анализа отзывов

Попросите показать работу на доступной тестовой выборке из ваших источников: что собрано, как обработаны дубли, где виден исходный текст и как исправляются спорные метки. Уточните, поддерживаются ли необходимые язык, площадки, разрезы отчёта и выгрузка. Не принимайте красивый общий график за подтверждение каждого из этих пунктов.

Начинать можно с таблицы и ручной разметки. Сервис имеет смысл, когда сбор и повторяющиеся операции отнимают время, а команда готова работать с найденными проблемами. Внедрение без ответственных за изменения даст более быстрый отчёт, но не обязательно улучшит клиентский опыт.

Частые вопросы