Испытательный манекен, по которому в Америке больше полувека проверяют безопасность машин, представляет мужчину. Не в переносном смысле — буквально: рост метр семьдесят пять, вес около семидесяти восьми килограммов, пропорции взрослого американца из семидесятых. Собрала его в 1976 году команда инженера Гарольда Мертца в General Motors, опираясь на данные профессора Уэйнского университета Лоуренса Патрика, который годами разгонял манекены — а до них и человеческие тела — навстречу препятствиям, чтобы понять, что именно происходит при ударе. Манекен назвали Hybrid III, и по нему до сих пор откалиброван почти весь стандарт автомобильной безопасности.
За рулём и на соседнем сиденье, кроме мужчины из семидесятых, на удивление, ездит довольно много других людей. Исследование Университета Вирджинии в 2019 году показало: у женщины-пассажира при лобовом столкновении шансы получить травму выше на 73 процента, чем у мужчины в той же аварии. По данным Consumer Reports, пристёгнутая женщина при прочих равных на 17 процентов чаще погибает. Причина в устройстве тела — иначе распределена мышечная масса, иначе держится шея, и ремень с подушкой, откалиброванные под манекен, реагируют на другое тело иначе.
Дыру какое-то время затыкал манекен «пятого процентиля женщин». Звучит как решение. На деле это была всё та же уменьшенная копия того же мужского манекена, с теми же пропорциями, только меньше, — инженерная смекалка в лучшем виде, — и представляла она наименьшие пять процентов женщин по меркам середины семидесятых. Остальные девяносто пять процентов в эту проверку не попадали вовсе.
Манекен при этом всё время исправно делал ровно то, для чего его создали: показывал одну и ту же измеримую, воспроизводимую реакцию на удар. Тест был пройден, раз за разом, десятилетиями. Отвечал он просто на другой вопрос — не на тот, кто на самом деле окажется в машине.
Чем больше повторов, тем меньше вопросов
Есть более тяжёлая версия этой же истории, и она объясняет кое-что важное про то, как ведёт себя не тест, а уверенность вокруг него.
За несколько лет до катастрофы шаттла «Челленджер» инженеры NASA и подрядчика Morton Thiokol уже видели прогар резиновых уплотнительных колец на стыке ракетных ускорителей — на предыдущих полётах. Прогар выходил за рамки инженерных допусков. Формально это значило: с таким узлом лететь нельзя. Но полёты с этим прогаром раз за разом заканчивались благополучно, и с каждым удачным разом решение лететь снова становилось чуть менее тревожным. Социолог Диана Вон, восстановившая всю цепочку решений по документам NASA и сотням интервью, назвала это нормализацией отклонения: команда не игнорировала правило сознательно — правило постепенно перестало ощущаться нарушенным. К январю 1986 года прогар для инженеров уже не был отклонением. Он стал обычной, ожидаемой частью полёта, и в холодное утро старта именно этот узел подвёл.
Обратите внимание, куда именно двигалась уверенность. Она не осталась на месте, пока риск рос вокруг неё, — она росла вместе с числом удачных стартов, и росла ровно в противоположную от реальности сторону. Каждый успешный полёт с прогаром выглядел как ещё одно подтверждение, что допуск можно расширить. На деле каждый такой полёт был просто ещё одним разом, когда повезло, а сам допуск, нарушенный на бумаге, никуда не двигался.
Вот в чём разница между «тест ничего не проверил» и тем, что происходит на самом деле. Манекен и тестовый режим не просто молчат о том, что за их пределами. Если гонять их достаточно долго и достаточно успешно, они начинают убедительно внушать, что там нечего проверять. Полвека удачных краш-тестов не добавили ни одного нового факта о женском теле в машине. Но они, судя по всему, добавили индустрии уверенности в том, что вопрос закрыт — иначе манекен вряд ли оставался бы прежним так долго.
Тестовый режим устроен точно так же
Есть похожая слепая зона в куда более скромной вещи — в тестовом режиме, который сегодня есть почти у любого сервиса приёма платежей. Заводишь тестовый магазин, вставляешь тестовую карту, гоняешь весь путь клиента от кнопки «оплатить» до подтверждения — и всё зелёное. Мне доводилось собирать такой сценарий с нуля и по несколько раз прогонять его вдоль и поперёк, прежде чем показать заказчику. И с каждым удачным прогоном я, естественно, чувствовал себя увереннее — так доверие к инструменту и должно работать. Проблема в том, что эта уверенность разрасталась в сторону вопроса, который тест вообще не задавал.
А недавно у одного платёжного сервиса выяснилось, что зелёная галочка ничего не гарантирует за пределами самого механизма. Правило, по которому продавцы определённой категории могли рассчитывать на автоматически оформленные чеки, попросту исчезло за несколько месяцев до этого — без всякой связи с тем, у кого код работает, а у кого нет. Никто, разумеется, не разослал предупреждение — тест-то по-прежнему был зелёным. Функция просто перестала существовать в один день. Механизм оплаты по-прежнему проходил тест безупречно. Разрешение на конкретную схему работы — нет, и тест никогда не был устроен так, чтобы это проверять.
Тестовый магазин не расскажет вам, разрешено ли вам вообще принимать эти деньги в вашем конкретном юридическом положении.
Государства строят те же комнаты
Государства и сами додумались до похожей конструкции — регуляторные песочницы для финтех-стартапов, контролируемый режим, где можно опробовать новый финансовый продукт на настоящих клиентах без полного веса обычных требований. Мысль разумная: дать попробовать, прежде чем требовать полного соответствия правилам.
В разборах практики таких песочниц раз за разом всплывает одна и та же оговорка: пока компания внутри, ей не нужно проходить ту же проверку на соответствие, что ждёт снаружи, и заранее не всегда понятно, какие требования обрушатся в момент выхода. Песочница проверяет, работает ли продукт. Соответствие всему остальному законодательству — вопрос отдельный, и решается он не там.
Первое желание, столкнувшись с таким разрывом, — прогнать тест ещё раз, повнимательнее. Иногда это и правда помогает: часть проблем прячется в редких сценариях, которые всплывают только после десятого прогона. Но здесь это не поможет. Ударь манекен о стену хоть тысячу раз — он не станет ближе к устройству другого тела. Проведи в песочнице хоть месяц — она, к огромному сожалению, не начнёт вдруг проверять ваш юридический статус, потому что это просто не то, что она умеет по своей конструкции. Комнату построили так, чтобы в ней ничего не могло пойти не так, и лишнее время в такой комнате не покажет то, что она создана не показывать.
Что это меняет на практике
«Работает» отвечает на вопрос, ведёт ли себя механизм предсказуемо в тех условиях, которые тест умеет создать. «Можно» — вопрос отдельный: разрешено ли вам вообще этим механизмом пользоваться в вашей конкретной ситуации, с вашим юридическим статусом, вашими документами, вашей страной. Это два разных вопроса, которые кто-то однажды решил задавать в одном месте, — и с тех пор ответ на первый по привычке принимают за ответ на второй.
Хуже того: чем чаще первый вопрос отвечает «да», тем спокойнее становится и по поводу второго, даже если вслух его никто не задавал. Инженеры NASA не были ни глупы, ни безответственны — их уверенность росла ровно тем же образом, каким она растёт у любого, кто в десятый раз подряд видит одну и ту же зелёную галочку. Только у большинства из нас ставки, к счастью, не измеряются человеческими жизнями — максимум испорченным кварталом и парой неловких звонков бухгалтеру. Механизм при этом ровно тот же.
Из этого следует более неприятное правило, чем просто «протестируйте получше». Растущее спокойствие после серии удачных прогонов не означает, что второй вопрос закрыт. Это сигнал — отдельно, вслух, громко и четко, спросить того, кто отвечает за разрешение: юриста, бухгалтера, инспектора, кого угодно — что именно из вашей ситуации этот тест в принципе не мог заметить. Тест умеет расти в вашей уверенности. Он не умеет расти в охвате.
Стоит договорить историю с «Челленджером» до конца — она даёт не только диагноз, но и рецепт.
Инженер Morton Thiokol Роджер Бойджоли предупреждал о проблеме уплотнительных колец на холоде задолго до катастрофы, а в ночь перед стартом, узнав о рекордно низкой температуре на площадке, вместе с коллегами прямо потребовал отложить запуск — с графиками и цифрами в руках. Вопрос был задан вслух, конкретным человеком, с конкретными данными. Руководство Thiokol после долгого спора всё равно сняло возражение — по показаниям перед комиссией, отчасти чтобы не подвести крупного заказчика перед плотным графиком запусков. Бойджоли оказался прав. Это ничего не изменило.
Собственно - следуя этому закрытый вопрос иногда всё же открывают — но чем длиннее к этому моменту история удачных прогонов, тем неудобнее звучит голос, который его открывает. После двух десятков успешных полётов с прогаром сам прогар выглядит статистикой в свою защиту, и человеку, который тормозит площадку данными на грани допуска, приходится спорить не столько с фактами, сколько с накопленным успехом всей программы. Бремя доказательства к этому моменту незаметно перекочевало на сомневающегося.
Придумали, как с этим бороться, к счастью, задолго до всякого конкретного запуска. Психолог Гэри Кляйн в 2007 году предложил простую процедуру: прежде чем что-то запускать, собрать людей и представить, что всё уже провалилось, — а затем спросить из этого воображаемого будущего, что именно пошло не так. Приём назвали предсказанием задним числом, и работает он потому, что меняет саму позицию говорящего: искать причины провала в гипотетическом будущем гораздо комфортнее, чем тормозить реальный запуск сомнением в настоящем. Даниэль Канеман, ссылаясь на этот метод, отмечал: один такой разговор перед стартом поднимает число найденных рисков примерно на треть.
К тестовому режиму это применяется без всякой адаптации: прежде чем прочитать зелёную галочку как разрешение, полезно на пять минут вслух представить, что схема уже провалилась — не из-за бага, а из-за того, что где-то оказалось нельзя, — и спросить, из-за чего именно. Задать этот вопрос себе заранее гораздо дешевле, чем оказаться новым Бойджоли — с полным набором данных и без единого шанса, что его услышат вовремя.
Будьте первым