В статье говорится, что заявление ИИ о точности 99% нередко свидетельствует о непонимании того, что требуется от моделей прогнозного обслуживания. Для иллюстрации автор приводит пример с прогнозированием исхода попытки field goal: ответ «попытка будет успешной, но также возможен промах» формально охватывает все результаты и потому даёт 100% точности. Столь же «точным» будет прогноз, сделанный уже после того, как мяч летит через зачётную зону, а повторный просмотр той же игры подтвердит эту идеальную точность. Однако такие прогнозы не приносят практической пользы.
Авторы указывают, что существует множество способов представить метрики точности в выгодном свете. В прогнозном обслуживании компании, заявляющие более 99% точности, могут рассчитывать этот показатель исходя из того, что система не пропускает неисправности. Для достижения такого результата фильтр обнаружения должен быть широким, а это увеличивает число ложноположительных срабатываний. В итоге многие спрогнозированные дефекты либо не являются реальными дефектами, либо не требуют вмешательства, что ведёт к заметным потерям времени и усилий ремонтных команд.
По мнению автора, утверждение о 99,9% точности инструмента прогнозного обслуживания искажает реальность. Отказы машин сложны из-за различий в типах оборудования, областях применения, возрасте, конфигурациях, режимах эксплуатации, факторах среды и истории обслуживания. Для обучения ИИ, охватывающего все такие сценарии, вероятно, понадобились бы миллионы точек мониторинга, десять лет накопления данных и открытый доступ к эксплуатационным данным.
Материал подчёркивает, что даже само определение точности выявления неисправностей трудно зафиксировать. У большинства подшипников микродефекты могут присутствовать ещё до выхода с завода. Кроме того, в любой момент времени смазка подшипников, вероятно, не оптимальна примерно у половины активов предприятия. Но степень ухудшения смазки, при которой требуется действие, определяется порогом, а этот порог субъективен и зависит от конкретного актива и его применения.
В публикации отмечается, что компании прогнозного обслуживания с заявлениями об экстремально высокой точности часто чрезмерно упрощают сложные ситуации. Это подрывает доверие, поскольку фактическая результативность не соответствует подобным обещаниям. Поэтому очень высокие утверждения о точности должны вызывать сомнения в достоверности компании, которая их делает. В качестве возможного объяснения такого поведения автор упоминает эффект Даннинга—Крюгера: исследователи отмечали чрезмерно оптимистичные и плохо откалиброванные представления людей о себе, а также то, что ограниченные знания могут мешать человеку распознать собственные ошибки и некомпетентность.
В конце материала размещён призыв запросить демонстрацию комплексной платформы прогнозного обслуживания на базе ИИ. Платформа позиционируется как средство для устранения незапланированных простоев и продления срока службы критически важных активов.