Уровни готовности технологий для систем машинного обучения

Nature Communications, том 13, номер статьи: 6039 (2022) Цитировать эту статью

23 тыс. доступов

5 цитат

113 Альтметрика

Подробности о метриках

Разработку и развертывание систем машинного обучения можно легко выполнить с помощью современных инструментов, но этот процесс, как правило, является спешным и требует определенных усилий. Недостаток усердия может привести к техническому долгу, расширению масштабов и несогласованности целей, неправильному использованию модели и ее сбоям, а также к дорогостоящим последствиям. С другой стороны, инженерные системы следуют четко определенным процессам и стандартам тестирования, что позволяет оптимизировать разработку и получить высококачественные и надежные результаты. Крайним вариантом являются системы космических аппаратов, обеспечивающие критически важные меры и надежность на протяжении всего процесса. Опираясь на опыт в области проектирования космических аппаратов и машинного обучения (исследования продуктов в разных предметных областях), мы разработали проверенный подход к системному проектированию для машинного обучения и искусственного интеллекта: структура уровней готовности технологий машинного обучения определяет принципиальный процесс, обеспечивающий надежность, надежные и ответственные системы, оптимизированные для рабочих процессов машинного обучения, включая ключевые отличия от традиционной разработки программного обеспечения, а также лингва-франка, позволяющий людям из разных команд и организаций совместно работать над технологиями машинного обучения и искусственного интеллекта. Здесь мы описываем структуру и поясняем варианты использования: от физических исследований до приложений компьютерного зрения и медицинской диагностики.

Ускоряющееся использование технологий искусственного интеллекта (ИИ) и машинного обучения (МО) в системах программного обеспечения, оборудования, данных и людей создает уязвимости и риски из-за динамичного и ненадежного поведения; По сути, системы машинного обучения учатся на данных, создавая известные и неизвестные проблемы в том, как эти системы ведут себя и взаимодействуют с окружающей средой. В настоящее время подход к созданию технологий искусственного интеллекта разрознен: модели и алгоритмы разрабатываются на испытательных стендах, изолированных от реальной среды, и без контекста более крупных систем или более широких продуктов они будут интегрированы в них для развертывания. Основная проблема заключается в том, что модели обычно обучаются и тестируются лишь на небольшом количестве тщательно отобранных наборов данных, без каких-либо мер и гарантий для будущих сценариев, а также без учета последующих задач и пользователей. Более того, модели и алгоритмы часто интегрируются в программный стек без учета присущей им стохастичности и режимов сбоев скрытых компонентов машинного обучения. Рассмотрим, например, огромное влияние случайных начальных чисел на производительность модели глубокого обучения с подкреплением1.

Другие области техники, такие как гражданская и аэрокосмическая, следуют четко определенным процессам и стандартам тестирования, чтобы упростить разработку и получить высококачественные и надежные результаты. Уровень технологической готовности (TRL) — это протокол системного проектирования для масштабных глубоких технологических2 и научных исследований, идеально подходящий для интеграции множества взаимозависимых компонентов и межфункциональных групп людей. Неудивительно, что TRL является стандартным процессом и языком в NASA3 и DARPA4.

Для проекта космического полета существует несколько определенных этапов: от предварительной концепции до прототипирования, развертывания операций и завершения эксплуатации, каждый из которых включает в себя серию строгих циклов разработки и проверок. Это резко контрастирует с обычными рабочими процессами машинного обучения и программного обеспечения, которые способствуют быстрой итерации, быстрому развертыванию и простому линейному прогрессу. Тем не менее, процесс подготовки технологий НАСА для систем космических кораблей является излишним; нам нужны надежные технологии машинного обучения, интегрированные с более крупными системами программного обеспечения, оборудования, данных и людей, но не обязательно для миссий на Марс. Мы стремимся внедрить системное проектирование в искусственный интеллект и машинное обучение, определив и внедрив в действие экономичную структуру уровней готовности технологий машинного обучения (MLTRL). Мы опираемся на десятилетия разработок искусственного интеллекта и машинного обучения, от исследований до производства, в разных областях и различных сценариях обработки данных: например, компьютерное зрение в медицинской диагностике и потребительских приложениях, автоматизация в беспилотных транспортных средствах и заводская робототехника, инструменты для научных открытий и причинно-следственных связей. вывод, потоковая передача временных рядов в прогнозном обслуживании и финансах.