Точкой отказа называют элемент системы, при отказе которого останавливается весь процесс. При внедрении ИИ такой точкой часто становится участок, у которого не осталось человеческого резерва: если система даст сбой, восстановить её или сделать работу руками будет некому. Путь к ней обычно такой. ИИ снимает с людей рутину, людей сокращают, и вместе с ними уходит умение обслуживать, администрировать и работать в обход системы.
Термин пришёл из инженерии и IT, где чаще говорят о единой точке отказа (single point of failure). Это может быть один сервер без резерва, один канал связи, один специалист, который знает, как всё устроено. Людей в этой роли тоже учитывают давно: в разработке есть «фактор автобуса», число участников, после ухода которых проект встаёт. При внедрении ИИ точка отказа чаще всего возникает там, где не осталось людей, способных заменить автоматизацию, когда она не работает.
Ошибки самой модели на отдельных шагах относятся к соседней теме. Их ловят проверкой результата: через человека в контуре и критерии приёмки. Точка отказа отвечает на другой вопрос: что будет, когда автоматизация не работает совсем.
У людей на автоматизируемом участке обычно есть функция, которой нет в должностной инструкции: они знают, как работать, когда система стоит. Автоматизация держится, пока работают модель, сервис, интеграция и оплаченная подписка. Сбой любого из этих звеньев возвращает работу людям. Если людей уже нет, работа ждёт, пока кого-то найдут и обучат.
Решение о сокращении в такой ситуации принимают по сэкономленным часам. Часы, которые понадобятся на восстановление, в расчёт обычно не попадают, потому что сбоя ещё не было.
Удобнее всего на карте процессов. Под подозрением участки, где сокращение планируется из-за автоматизации. Функции, которые знает один человек. Обслуживание, администрирование и поддержка систем. Шаги, у которых нет ручного пути. И внешние зависимости: сервис модели, интеграции, тариф поставщика.
У каждого участка считают четыре величины:
Если время восстановления больше допустимого простоя, участок является точкой отказа. Дальше выбирают, что с ней делать: оставить людей, обучить тех, кто остаётся, заключить договор на поддержку, сохранить ручной путь. Решение о составе отдела имеет смысл принимать после этого расчёта, на аудите процессов. Выбранный вариант вместе с ручным путём и порядком действий при сбое записывают в спецификацию решения.
Больше десяти лет я работал в IT в энергетике. Там есть правило N-1: система должна выдерживать отказ любого одного элемента. Его проверяют заранее, на схеме, до любой аварии. Когда в процесс встраивают ИИ, я задаю тот же вопрос: что будет, если этот элемент откажет, и кто тогда возьмёт работу на себя.
Если этот вопрос не задать, обычно бывает так. Компания решает, что отчёты теперь пишет ИИ, и сокращает часть системных администраторов. Отчёты пишутся. Через несколько месяцев падает сеть, и восстанавливать её некому. Модель ни в чём не ошиблась. Отказал участок, у которого не осталось резерва.
Кто восстанавливает систему, если она упадёт ночью или в выходной. Есть ли ручной путь и кто из оставшихся людей умеет им пользоваться. Что делать, если поставщик модели изменит условия или сервис будет недоступен несколько дней. И кого сокращать: этот вопрос решают после расчёта точек отказа.
Связанные термины: Аудит процессов · Карта процессов · Human-in-the-loop · Стоимость владения
Планируете перестраивать отдел под ИИ? Аудит ИИ в отделе →