Inteligência artificial explicável - Explainable artificial intelligence

AI explicável ( XAI ) é a inteligência artificial (AI) em que os resultados da solução podem ser compreendidos por humanos. Isso contrasta com o conceito de " caixa preta " no aprendizado de máquina, em que nem mesmo seus designers podem explicar por que uma IA chegou a uma decisão específica. O XAI pode ser uma implementação do direito social à explicação . O XAI é relevante mesmo se não houver nenhum direito legal ou requisito regulatório - por exemplo, o XAI pode melhorar a experiência do usuário de um produto ou serviço ajudando os usuários finais a confiar que a IA está tomando boas decisões. Desta forma, o objetivo do XAI é explicar o que foi feito, o que está feito agora, o que será feito a seguir e desvendar as informações nas quais as ações se baseiam. Essas características permitem (i) confirmar o conhecimento existente (ii) desafiar o conhecimento existente e (iii) gerar novos pressupostos.

Os algoritmos usados ​​em IA podem ser diferenciados em algoritmos de aprendizado de máquina (ML) de caixa branca e caixa preta. Os modelos de caixa branca são modelos de ML que fornecem resultados compreensíveis para especialistas no domínio. Os modelos de caixa preta, por outro lado, são extremamente difíceis de explicar e dificilmente podem ser entendidos mesmo por especialistas no domínio. Os algoritmos XAI são considerados como seguindo os três princípios: transparência, interpretabilidade e explicabilidade. A transparência é dada “se os processos que extraem parâmetros de modelo de dados de treinamento e geram rótulos de dados de teste podem ser descritos e motivados pelo designer de abordagem”. A interpretabilidade descreve a possibilidade de compreender o modelo de ML e de apresentar a base subjacente para a tomada de decisão de uma forma que seja compreensível para os humanos. A explicabilidade é um conceito reconhecido como importante, mas uma definição conjunta ainda não está disponível. Sugere-se que a explicabilidade em ML pode ser considerada como “o conjunto de características do domínio interpretável, que contribuíram para que um dado exemplo produzisse uma decisão (por exemplo, classificação ou regressão)”. Se os algoritmos atendem a esses requisitos, eles fornecem uma base para justificar decisões, rastrear e, portanto, verificá-las, melhorando os algoritmos e explorando novos fatos.

Às vezes, também é possível obter um resultado com alta precisão com um algoritmo de ML de caixa branca que pode ser interpretado por si mesmo. Isso é especialmente importante em domínios como medicina, defesa, finanças e direito, onde é crucial entender as decisões e construir confiança nos algoritmos.

Os sistemas de IA otimizam o comportamento para satisfazer um sistema de metas especificado matematicamente e escolhido pelos projetistas do sistema, como o comando "maximizar a precisão da avaliação de quão positivas são as críticas de filmes no conjunto de dados de teste". A IA pode aprender regras gerais úteis do conjunto de testes, como "avaliações que contenham a palavra 'horrível' provavelmente serão negativas". No entanto, ele também pode aprender regras inadequadas, como "resenhas contendo ' Daniel Day-Lewis ' geralmente são positivas"; tais regras podem ser indesejáveis ​​se forem consideradas susceptíveis de falhar na generalização fora do conjunto de teste, ou se as pessoas considerarem a regra "trapaça" ou "injusta". Um ser humano pode auditar regras em um XAI para ter uma ideia da probabilidade de o sistema generalizar para dados futuros do mundo real fora do conjunto de teste. Isso é especialmente importante para ferramentas de IA desenvolvidas para aplicações médicas porque o custo de previsões incorretas geralmente é alto. O XAI pode aumentar a robustez dos algoritmos e também aumentar a confiança dos médicos.

Metas

A cooperação entre agentes , neste caso algoritmos e humanos, depende da confiança. Se os humanos aceitam prescrições algorítmicas, eles precisam confiar nelas. A incompletude na formalização de critérios de confiança é uma barreira para abordagens de otimização diretas. Por esse motivo, interpretabilidade e explicabilidade são postulados como objetivos intermediários para verificar outros critérios.

Os sistemas de IA às vezes aprendem truques indesejáveis ​​que realizam um trabalho ideal de satisfação de objetivos pré-programados explícitos nos dados de treinamento, mas que não refletem os complicados desejos implícitos dos projetistas de sistemas humanos. Por exemplo, um sistema de 2017 com a tarefa de reconhecimento de imagem aprendeu a "trapacear" procurando por uma marca de direitos autorais associada a fotos de cavalos, em vez de aprender como saber se um cavalo foi realmente fotografado. Em outro sistema de 2017, uma IA de aprendizagem supervisionada com a tarefa de agarrar itens em um mundo virtual aprendeu a trapacear colocando seu manipulador entre o objeto e o visualizador de uma forma que parecesse falsamente estar agarrando o objeto.

Um projeto de transparência, o programa DARPA XAI, visa produzir modelos de "caixa de vidro" que podem ser explicados por um "humano no circuito", sem sacrificar muito o desempenho da IA. Os usuários humanos devem ser capazes de entender a cognição da IA ​​(tanto em tempo real quanto após o fato) e devem ser capazes de determinar quando confiar na IA e quando ela deve ser desconfiada. Outras aplicações do XAI são a extração de conhecimento de modelos de caixa preta e comparações de modelos. O termo "caixa de vidro" também tem sido utilizado para designar sistemas que monitoram as entradas e saídas de um sistema, com o objetivo de verificar a aderência do sistema aos valores éticos e sociolegais e, portanto, produzir explicações baseadas em valores. Além disso, o mesmo termo foi usado para nomear um assistente de voz que produz afirmações contrafactuais como explicações.

História e métodos

Durante as décadas de 1970 a 1990, foram explorados sistemas de raciocínio simbólico, como MYCIN , GUIDON, SOPHIE e PROTOS, que podiam representar, raciocinar e explicar seu raciocínio para fins de diagnóstico, instrução ou aprendizado de máquina (aprendizagem baseada em explicação). MYCIN, desenvolvido no início dos anos 1970 como um protótipo de pesquisa para diagnosticar infecções bacterêmicas da corrente sanguínea, poderia explicar quais de suas regras codificadas manualmente contribuíram para um diagnóstico em um caso específico. A pesquisa em sistemas de tutoria inteligentes desenvolveu sistemas como o SOPHIE que poderiam atuar como um 'especialista articulado', explicando a estratégia de resolução de problemas em um nível que o aluno pudesse entender, para que soubesse o que fazer a seguir. Por exemplo, a SOPHIE poderia explicar o raciocínio qualitativo por trás de sua solução de problemas eletrônicos, embora, em última análise, tenha contado com o simulador de circuito SPICE . Da mesma forma, o GUIDON adicionou regras de tutorial para complementar as regras de nível de domínio do MYCIN para que pudesse explicar a estratégia de diagnóstico médico. Abordagens simbólicas para aprendizado de máquina, especialmente aquelas baseadas na aprendizagem baseada em explicações, como o PROTOS, explicitamente dependiam de representações de explicações, tanto para explicar suas ações quanto para adquirir novos conhecimentos.

Na década de 1980 até o início de 1990, foram desenvolvidos sistemas de manutenção de verdade (TMS) para estender as capacidades de causal-raciocínio, baseado em regras e sistemas de inferência baseada em lógica. Um TMS atua para rastrear explicitamente linhas alternativas de raciocínio, justificativas para conclusões e linhas de raciocínio que levam a contradições, permitindo raciocínios futuros para evitar esses becos sem saída. Para fornecer explicação, eles rastreiam o raciocínio de conclusões a suposições por meio de operações de regras ou inferências lógicas, permitindo que explicações sejam geradas a partir dos rastros de raciocínio. Por exemplo, considere um solucionador de problemas baseado em regras com apenas algumas regras sobre Sócrates que conclui que ele morreu de veneno:

Simplesmente rastreando a estrutura de dependência, o solucionador de problemas pode construir a seguinte explicação: "Sócrates morreu porque era mortal e bebeu veneno, e todos os mortais morrem quando bebem veneno. Sócrates era mortal porque era um homem e todos os homens são mortais. Sócrates bebeu veneno porque tinha crenças dissidentes, o governo era conservador e aqueles que mantinham crenças dissidentes conservadoras sob governos conservadores devem beber veneno. "

Na década de 1990, os pesquisadores também começaram a estudar se é possível extrair de forma significativa as regras não codificadas manualmente geradas por redes neurais opacas treinadas. Pesquisadores em sistemas especialistas clínicos que criam suporte de decisão alimentado por rede neural para médicos têm procurado desenvolver explicações dinâmicas que permitem que essas tecnologias sejam mais confiáveis ​​e confiáveis ​​na prática. Na década de 2010, as preocupações do público sobre o preconceito racial e outros preconceitos no uso de IA para decisões de condenações criminais e descobertas de credibilidade podem ter levado a um aumento da demanda por inteligência artificial transparente. Como resultado, muitos acadêmicos e organizações estão desenvolvendo ferramentas para ajudar a detectar preconceitos em seus sistemas.

Marvin Minsky et al. levantou a questão de que a IA pode funcionar como uma forma de vigilância, com os preconceitos inerentes à vigilância, sugerindo HI (Humanistic Intelligence) como uma forma de criar uma IA "humana no circuito" mais justa e equilibrada.

As técnicas modernas de IA complexas, como aprendizado profundo e algoritmos genéticos, são naturalmente opacas. Para resolver esse problema, muitos métodos novos foram desenvolvidos para tornar os novos modelos mais explicáveis ​​e interpretáveis. Isso inclui muitos métodos, como propagação de relevância em camadas (LRP), uma técnica para determinar quais recursos em um vetor de entrada específico contribuem mais fortemente para a saída de uma rede neural. Outras técnicas foram desenvolvidas para explicar uma predição particular feita por um modelo de caixa preta (não linear), um objetivo conhecido como "interpretabilidade local". É importante notar que a mera transposição dos conceitos de interpretabilidade local para um contexto remoto (onde o modelo caixa-preta é executado em um terceiro) está atualmente sob escrutínio.

Além disso, tem havido trabalho em árvores de decisão, conjuntos de árvores e redes bayesianas, que são mais transparentes para a inspeção. Em 2018, uma conferência interdisciplinar chamada FAT * (Equidade, Responsabilidade e Transparência) foi estabelecida para estudar transparência e explicabilidade no contexto de sistemas sociotécnicos, muitos dos quais incluem inteligência artificial.

Algumas técnicas permitem visualizações das entradas às quais os neurônios individuais respondem mais fortemente. Vários grupos descobriram que os neurônios podem ser agregados em circuitos que realizam funções compreensíveis por humanos, algumas das quais surgem de forma confiável em diferentes redes treinadas de forma independente.

Em um nível superior, existem várias técnicas para extrair representações compactadas dos recursos de determinadas entradas, que podem então ser analisadas por técnicas de agrupamento padrão. Alternativamente, as redes podem ser treinadas para produzir explicações linguísticas de seu comportamento, que são então diretamente interpretáveis ​​por humanos. O comportamento do modelo também pode ser explicado com referência aos dados de treinamento - por exemplo, avaliando quais entradas de treinamento influenciaram mais um determinado comportamento.

Regulamento

À medida que reguladores, órgãos oficiais e usuários em geral passam a depender de sistemas dinâmicos baseados em IA, uma responsabilidade mais clara será necessária para os processos de tomada de decisão para garantir a confiança e a transparência. A evidência desse requisito ganhando mais impulso pode ser vista com o lançamento da primeira conferência global exclusivamente dedicada a esta disciplina emergente, a Conferência Conjunta Internacional sobre Inteligência Artificial: Workshop sobre Inteligência Artificial Explainável (XAI).

A União Europeia introduziu um direito de explicação no Direito Geral de Proteção de Dados (GDPR) como uma tentativa de lidar com os problemas potenciais decorrentes da crescente importância dos algoritmos. A implementação do regulamento teve início em 2018. No entanto, o direito de explicação no RGPD cobre apenas o aspecto local da interpretabilidade. Nos Estados Unidos, as seguradoras devem ser capazes de explicar suas decisões de taxas e cobertura.

Setores

O XAI foi pesquisado em muitos setores, incluindo:

Referências

links externos