Подробное описание документа

Власова В. В.
   Проблема доверия к «черному ящику» в современных медицинских системах искусственного интеллекта / Власова В. В. // Русский инженер, Международный конгресс, 3-й / МГТУ им. Н. Э. Баумана. - 2026. - Т. 8 : Вызовы и возможности подготовки будущих инженеров с предпринимательским мышлением : сб. ст. 7-й Междунар. науч.-практ. конф. (Москва, 29 - 30 окт. 2025 г.). - С. 29-34.

Просмотреть документ Скачать файл

Полнотекстовый документ

Рассмотрена проблема доверия к медицинским системам искусственного интеллекта, функционирующим как «черный ящик» и выдающим клинически значимые рекомендации при ограниченной интерпретируемости внутренних механизмов вывода. Источники недоверия включают непрозрачность причинно-следственных связей, риск смещения (bias) и снижение качества, а также «разрывы ответственности» между разработчиком, медицинской организацией и врачом-пользователем. Предложена рамка доверия, объединяющая проверяемость, объяснимость (XAI-артефакты), управляемость (человеческий контроль и оспаривание) и доказательность (клиническая валидация и эксплуатационное сопровождение). Показано, что объяснения должны быть встроены в жизненный цикл медицинского ИИ — от требований к данным и документации до регуляторного соответствия и процедур внедрения. Сделан вывод о необходимости перехода от «доверия к модели» к «доверию к социотехнической системе», включающей модель, данные, интерфейс, клинический контекст и распределение ответственности.