В Поднебесной создан ИИ-цензор

Разработчики из Университета Лигун и Китайской АН выдали технологию ИИ-цензора для поиска «запрещенного» контента. Она способна функционировать с точностью 91% и будет полезна для цензуры онлайн-изданий. Об этом сообщает «South China Morning Post».

Сказано, что китайские специалисты сумели создать «интеллектуальную» технологию на базе алгоритма «BERT» от бренда «Google», которая более эффективно фильтрует «нежелательную» информацию в сети Интернет с достаточно высокой точностью. Со слов разработчиков, она соответствует значению 91%. У лучших аналогов – это 70–80%.

Указано, что функция с открытым кодом «Google BERT» не способна анализировать текстовые файлы, длина которых более 512 слов. Китайские специалисты создали функциональный алгоритм, который обеспечивает «разбивку» длинного текста на локальные сегменты. После анализа текст снова собирается обратно.

Как пояснил представитель объединенной команды разработчиков, решение включает словарь с «ключевиками» и их формами. Вместе с этим, «умный» алгоритм способен находить «подтекст между строк»

Как уточняет издание, в КНР жестко контролируется интернет. Запрещены все ведущие американские площадки, включая «FВ», «Twitter» и «Google». У тех, что разрешены к просмотру, может быть заблокирована часть контента.

Технология будет полезна, так как правительство и компании имеют «армию цензоров», работающую вручную. Однако такой подход неэффективен и обходится излишне дорого.