Where AI risks arise and how to control for them
Riscos que perpassam toda a vida útil de uma solução de IA – da concepção ao uso e à monitoração – podem gerar consequências involuntárias. Identificamos controles para riscos específicos que podem ajudar as empresas a gerenciá-los.
Enterprise-wide controls
2. Gerenciamento
de dados
3. Desenvolvimento do modelo
5. Uso do modelo
e tomada de decisão
1. Conceitualização
1/15
Casos de uso potencialmente não éticos
1. Conceitualização
4. Implementação
do modelo
Iteração insuficiente de feedback para aprendizado
Casos de uso potencialmente não éticos
Outros tipos de descumprimento de normas e regulamentação
Dados incompletos ou imprecisos
Dados “protegidos” não seguros
Instabilidade do
modelo ou degradação de desempenho
Resultados
tendenciosos ou discriminatórios do
modelo
Dados não representativos
Habilidades e treinamento insuficientes
Desenho inadequado do ambiente tecnológico
Erros de implementação
Ameaças à segurança cibernética
Detecção/resposta lenta a questões de desempenho
Mau funcionamento do ambiente de tecnologia
Falhas na interface homem-máquina
2/15
• Exigências e ciclos de feedback inseridos no ciclo de vida
de desenvolvimento e redesenvolvimento do modelo
• Monitoração e reporte sistemáticos do desempenho de todos
os modelos, incluindo erros e problemas parciais
• Novas fontes de fraude identificadas durante a monitoração de
desempenho de um modelo de fraude não incorporadas nos modelos
de nova geração
1. Conceitualização
• Definição para toda a organização de casos de uso de IA aprovados
com base na visão e nos valores da empresa
• Revisão independente do objetivo do modelo, dos métodos analíticos
propostos, das variáveis antecipadas e do uso pretendido
Exemplos de controle
• Modelos de abordagem de marketing utilizados direta ou indiretamente
para manipular a opinião pública por meio de mídias sociais
Exemplos
3/15
• Exigências mínimas de qualidade de dados
• Estatísticas descritivas e detecção de anomalias para identificar
problemas de qualidade em potencial
Exemplos de controle
• Imagens médicas etiquetadas erroneamente utilizadas para
automatizar diagnósticos
Exemplos
Dados incompletos ou imprecisos
2. Gerenciamento de dados
5/15
Exemplos de controle
Exemplos
Outros tipos de descumprimento
de normas e regulamentação
2. Gerenciamento de dados
4/15
• Exigências mínimas de acesso a dados e modelos, incluindo prevenção
de download de dados sensíveis
• Sanitização de IPI antes de poder ser utilizado em modelos
Exemplos de controle
• Informações pessoais identificáveis (IPI) armazenadas sem criptografia
em um ambiente analítico
Exemplos
Dados “protegidos” não seguros
2. Gerenciamento de dados
• Raça, gênero, orientação sexual ou similares utilizados como base para
decisões sobre concessão de crédito, violando a regulamentação
• Papeis e responsabilidades claras para ter contínua visão sobre
a regulamentação e sua aplicabilidade para o gerenciamento de dados
6/15
• Diretrizes para seleção de conjunto de dados para treinamento,
com base em uma visão da aplicabilidade do modelo desejado
• Testagem da capacidade de explicação do modelo, ligando alavancas
a resultados específicos
Exemplos de controle
• Modelo de recrutamento treinado somente com formulários
de candidatos provenientes de uma única universidade
Exemplos
Dados não representativos
13/15
• Classificação de risco de todos os modelos, incorporando uma visão
da materialidade do modelo e da gravidade de um falso positivo
• Monitoração do desempenho do modelo, com maior frequência para
modelos de mais alto risco
• Uso continuado de modelos de fraude que perderam substancialmente
seu poder discriminatório, enquanto as estratégias de atores maliciosos
continuam a evoluir
Detecção/resposta lenta a questões
de desempenho
5. Uso do modelo e tomada de decisão
7/15
• Revisão de variáveis estatisticamente significativas que servem
de input para validar a usabilidade (p.ex., para garantir que não haja
violações na concessão justa de empréstimos)
• Revisão independente da distribuição de resultados do modelo (p.ex.,
registros classificados), validados como sendo livres de vieses
• Modelo de sentenças criminais desfavorecendo sistematicamente
minorias
Exemplos
Resultados tendenciosos ou discriminatórios do modelo
3. Desenvolvimento do modelo
8/15
• Testagem e retestagem fora da amostra/em diferentes momentos
para garantir usabilidade para o caso de uso pretendido
• Desempenho de todos os modelos avaliados periodicamente
para detecção de degradação ou tendenciosidade
• Chatbot que aprende com base em interações em mídias sociais
faz comentários cada vez mais ofensivos
Exemplos
Instabilidade do modelo ou degradação de desempenho
3. Desenvolvimento do modelo
9/15
• Teste de prova de conceito e/ou pilotos controlados antes do modelo
entrar em produção
• Testagem de aceitação do usuário; verificação independente
Exemplos de controle
• Unidades de medida incorretas utilizadas em um modelo de teste
clínico, levando à administração de dosagem incorreta de remédio
a um paciente
Exemplos
Erros de implementação
4. Implementação do modelo
10/15
• Testagem e revisão detalhada do modelo com base em diretrizes
abrangentes e em uma ampla variedade de cenários
Exemplos de controle
• Dependência de veículos autônomos em dados em tempo real que
acabam se tornando indisponíveis por problemas de conexão
Exemplos
Desenho inadequado do ambiente tecnológico
4. Implementação do modelo
11/15
• Desenvolvimento, realização e documentação sistemática de
treinamentos para usuários, incluindo como o modelo de IA funciona
dentro do sistema geral, como utilizar os insights gerados
e como/quando descartar seus resultados
Exemplos de controle
• Médicos que seguem a recomendação apresentada por uma
ferramenta de diagnóstico que utiliza IA sem questioná-la
Exemplos
Habilidades e treinamento insuficientes
4. Implementação do modelo
5. Uso do modelo e tomada de decisão
12/15
• Controles de resiliência do aplicativo e de infraestrutura completa,
bem como planejamento detalhado de continuidade do negócio
e recuperação de desastres
• Falha no funcionamento do centro de dados, impedindo que novos
dados sejam inseridos ao vivo em um modelo de produto de última
geração, resultando em recomendações degradados ou erradas
Exemplos
Mau funcionamento do ambiente
de tecnologia
5. Uso do modelo e tomada de decisão
15/15
14/15
• Monitoração em tempo real do ambiente e da manutenção
de habilidade de resposta rápida a ameaças ou vulnerabilidades
em potencial
• Exigências mínimas de acesso a modelos e dados para funcionários,
fornecedores e terceiros
• Roubo de dados pessoais e financeiros sensíveis de clientes
por um ator externo
Exemplos
Ameaças à segurança cibernética
5. Uso do modelo e tomada de decisão
Falhas na interface homem-máquina
• Um funcionário responsável por empréstimos não contesta uma
decisão errônea (p.ex., que não cumpra as normas vigentes) sobre
concessão de crédito ou contesta uma decisão correta por viés
ou falta de conhecimento
• Monitoração, reporte e análise de causas raiz de erros, quase erros
e contestações de forma sistemática; implicações utilizadas tanto para
treinamento de usuários como modelos
Onde surgem riscos de inteligência artificial e como controlá-los
Exemplos
Iteração insuficiente de feedback para aprendizado
Exemplos de controle
Exemplos de controle
Exemplos de controle
Exemplos de controle
Exemplos
Exemplos de controle
Exemplos de controle
Exemplos
Exemplos de controle
3. Desenvolvimento do modelo