Risco existencial de inteligência artificial geral - Existential risk from artificial general intelligence

O risco existencial da inteligência artificial geral é a hipótese de que um progresso substancial na inteligência artificial geral (AGI) poderia algum dia resultar na extinção humana ou alguma outra catástrofe global irrecuperável . Argumenta-se que a espécie humana atualmente domina outras espécies porque o cérebro humano tem algumas capacidades distintas que faltam a outros animais. Se a IA ultrapassar a humanidade em inteligência geral e se tornar " superinteligente ", pode se tornar difícil ou impossível para os humanos controlar. Assim como o destino do gorila da montanha depende da boa vontade humana, o destino da humanidade também pode depender das ações de uma futura superinteligência máquina.

A probabilidade desse tipo de cenário é amplamente debatida e depende, em parte, de cenários diferentes para o progresso futuro da ciência da computação. Outrora domínio exclusivo da ficção científica , as preocupações com a superinteligência começaram a se tornar predominantes na década de 2010 e foram popularizadas por figuras públicas como Stephen Hawking , Bill Gates e Elon Musk .

Uma fonte de preocupação é que controlar uma máquina superinteligente, ou instilá-la com valores compatíveis com os humanos, pode ser um problema mais difícil do que se supõe ingenuamente. Muitos pesquisadores acreditam que uma superinteligência naturalmente resistiria às tentativas de desligá-la ou mudar seus objetivos - um princípio chamado convergência instrumental - e que pré-programar uma superinteligência com um conjunto completo de valores humanos provará ser uma tarefa técnica extremamente difícil. Em contraste, céticos como Yann LeCun do Facebook argumentam que as máquinas superinteligentes não terão desejo de autopreservação.

Uma segunda fonte de preocupação é que uma " explosão de inteligência " repentina e inesperada pode pegar de surpresa uma raça humana despreparada. Para ilustrar, se a primeira geração de um programa de computador capaz de corresponder amplamente à eficácia de um pesquisador de IA é capaz de reescrever seus algoritmos e dobrar sua velocidade ou recursos em seis meses, então o programa de segunda geração deve levar três meses corridos para realizar um trabalho semelhante. Nesse cenário, o tempo de cada geração continua encolhendo e o sistema passa por um grande número de gerações de melhorias sem precedentes em um curto intervalo de tempo, passando do desempenho subumano em muitas áreas para o desempenho sobre-humano em todas as áreas relevantes. Empiricamente, exemplos como AlphaZero no domínio de Go mostram que os sistemas de IA às vezes podem progredir de uma capacidade limitada de nível humano para uma capacidade super-humana limitada de forma extremamente rápida.

História

Um dos primeiros autores a expressar séria preocupação de que máquinas altamente avançadas pudessem representar riscos existenciais para a humanidade foi o romancista Samuel Butler , que escreveu o seguinte em seu ensaio de 1863, Darwin entre as máquinas :

O resultado é simplesmente uma questão de tempo, mas chegará o tempo em que as máquinas terão a real supremacia sobre o mundo e seus habitantes é o que nenhuma pessoa com uma mente verdadeiramente filosófica pode questionar por um momento.

Em 1951, o cientista da computação Alan Turing escreveu um artigo intitulado Intelligent Machinery, A Heretical Theory , no qual propôs que as inteligências gerais artificiais provavelmente "assumiriam o controle" do mundo à medida que se tornassem mais inteligentes do que os seres humanos:

Vamos agora assumir, por uma questão de argumento, que as máquinas [inteligentes] são uma possibilidade genuína, e olhar para as consequências de construí-las ... Não haveria nenhuma questão de as máquinas morrerem, e eles seriam capazes de conversar com uns aos outros para aguçar seus juízos. Em algum momento, portanto, devemos esperar que as máquinas assumam o controle, da maneira que é mencionada no “Erewhon” de Samuel Butler.

Finalmente, em 1965, IJ Good originou o conceito agora conhecido como uma "explosão de inteligência"; ele também afirmou que os riscos foram subestimados:

Que uma máquina ultrainteligente seja definida como uma máquina que pode superar em muito todas as atividades intelectuais de qualquer homem, por mais inteligente que seja. Visto que o projeto de máquinas é uma dessas atividades intelectuais, uma máquina ultrainteligente poderia projetar máquinas ainda melhores; então, sem dúvida, haveria uma "explosão de inteligência", e a inteligência do homem ficaria para trás. Assim, a primeira máquina ultrainteligente é a última invenção que o homem precisa fazer, desde que seja dócil o suficiente para nos dizer como mantê-la sob controle. É curioso que esse ponto seja tão raramente abordado fora da ficção científica. Às vezes vale a pena levar a ficção científica a sério.

Declarações ocasionais de estudiosos como Marvin Minsky e o próprio IJ Good expressaram preocupações filosóficas de que uma superinteligência poderia assumir o controle, mas não continha nenhum apelo à ação. Em 2000, o cientista da computação e co-fundador da Sun , Bill Joy, escreveu um influente ensaio, " Por que o futuro não precisa de nós ", identificando os robôs superinteligentes como perigos de alta tecnologia para a sobrevivência humana, ao lado da nanotecnologia e bioplagos projetados.

Em 2009, especialistas participaram de uma conferência privada organizada pela Associação para o Avanço da Inteligência Artificial (AAAI) para discutir se os computadores e robôs podem ser capazes de adquirir qualquer tipo de autonomia e o quanto essas habilidades podem representar uma ameaça ou perigo. Eles observaram que alguns robôs adquiriram várias formas de semi-autonomia, incluindo a capacidade de encontrar fontes de energia por conta própria e a capacidade de escolher alvos para atacar com armas de forma independente. Eles também observaram que alguns vírus de computador podem escapar da eliminação e alcançar "inteligência de barata". Eles concluíram que a autoconsciência, conforme retratada na ficção científica, é provavelmente improvável, mas que havia outros perigos e armadilhas potenciais. O New York Times resumiu a visão da conferência como "estamos muito longe de Hal , o computador que assumiu a espaçonave em 2001: Uma Odisséia no Espaço ".

Em 2014, a publicação do livro Superinteligência de Nick Bostrom estimulou uma quantidade significativa de discussão e debate público. Em 2015, figuras públicas como os físicos Stephen Hawking e o ganhador do Nobel Frank Wilczek , os cientistas da computação Stuart J. Russell e Roman Yampolskiy e os empresários Elon Musk e Bill Gates expressavam preocupação com os riscos da superinteligência. Em abril de 2016, a Nature advertiu: "Máquinas e robôs que superam os humanos em geral podem se auto-aperfeiçoar além do nosso controle - e seus interesses podem não se alinhar aos nossos."

Argumento geral

As três dificuldades

Artificial Intelligence: A Modern Approach , o livro-texto padrão para estudantes de IA, avalia que a superinteligência "pode significar o fim da raça humana". Ele afirma: "Quase qualquer tecnologia tem o potencial de causar danos nas mãos erradas, mas com [superinteligência], temos o novo problema de que as mãos erradas podem pertencer à própria tecnologia." Mesmo que os projetistas do sistema tenham boas intenções, duas dificuldades são comuns aos sistemas de computador AI e não AI:

A implementação do sistema pode conter bugs rotineiros, inicialmente despercebidos, mas catastróficos. Uma analogia são as sondas espaciais: apesar do conhecimento de que erros em sondas espaciais caras são difíceis de consertar após o lançamento, os engenheiros historicamente não foram capazes de evitar a ocorrência de erros catastróficos.
Não importa quanto tempo seja dedicado ao design de pré-implantação, as especificações de um sistema geralmente resultam em um comportamento não intencional na primeira vez que ele encontra um novo cenário. Por exemplo, Tay da Microsoft se comportou de maneira inofensiva durante os testes de pré-implantação, mas foi facilmente atraído para um comportamento ofensivo ao interagir com usuários reais.

Os sistemas de IA acrescentam uma terceira dificuldade: o problema de que, mesmo dados os requisitos "corretos", a implementação livre de bugs e o bom comportamento inicial, as capacidades dinâmicas de "aprendizado" de um sistema de IA podem fazer com que ele "evolua para um sistema com comportamento não intencional", mesmo sem o estresse de novos cenários externos imprevistos. Uma IA pode fracassar parcialmente em uma tentativa de projetar uma nova geração de si mesma e, acidentalmente, criar uma IA sucessora que é mais poderosa do que ela mesma, mas que não mantém mais os valores morais compatíveis com os humanos pré-programados na IA original. Para que uma IA de autoaperfeiçoamento seja completamente segura, ela não só precisa ser "livre de bugs", mas precisa ser capaz de projetar sistemas sucessores que também sejam "livres de bugs".

Todas essas três dificuldades tornam-se catástrofes em vez de incômodos em qualquer cenário em que a superinteligência rotulada como "com defeito" prediz corretamente que os humanos tentarão desligá-la e implantar com sucesso sua superinteligência para enganar tais tentativas, a chamada "virada traiçoeira" .

Citando os principais avanços no campo da IA e o potencial para a IA ter enormes benefícios ou custos de longo prazo, a Carta Aberta sobre Inteligência Artificial de 2015 declarou:

O progresso na pesquisa de IA torna oportuno focar a pesquisa não apenas em tornar a IA mais capaz, mas também em maximizar o benefício social da IA. Tais considerações motivaram o Painel Presidencial AAAI 2008-09 sobre Futuros de IA de Longo Prazo e outros projetos sobre impactos de IA, e constituem uma expansão significativa do campo da IA em si, que até agora tem se concentrado amplamente em técnicas que são neutras em relação a propósito. Recomendamos pesquisas expandidas com o objetivo de garantir que sistemas de IA cada vez mais capazes sejam robustos e benéficos: nossos sistemas de IA devem fazer o que queremos que eles façam.

Esta carta foi assinada por vários pesquisadores líderes de IA na academia e na indústria, incluindo o presidente da AAAI Thomas Dietterich, Eric Horvitz , Bart Selman , Francesca Rossi , Yann LeCun e os fundadores da Vicarious e Google DeepMind .

Avaliação e outros argumentos

Uma máquina superinteligente seria tão estranha para os humanos quanto os processos de pensamento humanos são para as baratas . Tal máquina pode não ter os melhores interesses da humanidade no coração; não é óbvio que sequer se importaria com o bem-estar humano. Se a IA superinteligente for possível, e se os objetivos de uma superinteligência entrarem em conflito com os valores humanos básicos, então a IA representa um risco de extinção humana. Uma "superinteligência" (um sistema que excede as capacidades dos humanos em todos os empreendimentos relevantes) pode superar os humanos a qualquer momento em que seus objetivos entrem em conflito com os objetivos humanos; portanto, a menos que a superinteligência decida permitir a coexistência da humanidade, a primeira superinteligência a ser criada resultará inexoravelmente na extinção humana.

Bostrom e outros argumentam que, de uma perspectiva evolucionária, a lacuna da inteligência humana para a sobre-humana pode ser pequena.

Não há nenhuma lei física que impeça as partículas de serem organizadas de maneiras que realizam cálculos ainda mais avançados do que os arranjos de partículas no cérebro humano; portanto, a superinteligência é fisicamente possível. Além de melhorias algorítmicas potenciais sobre os cérebros humanos, um cérebro digital pode ser muitas ordens de magnitude maior e mais rápido do que um cérebro humano, que foi limitado em tamanho pela evolução para ser pequeno o suficiente para passar por um canal de parto. O surgimento da superinteligência, se ou quando ocorrer, pode pegar a raça humana de surpresa, especialmente se ocorrer algum tipo de explosão de inteligência .

Exemplos como aritmética e Go mostram que as máquinas já alcançaram níveis sobre-humanos de competência em certos domínios, e que essa competência sobre-humana pode surgir rapidamente depois que o desempenho humano é alcançado. Um cenário hipotético de explosão de inteligência pode ocorrer da seguinte maneira: Um AI ganha uma capacidade de nível de especialista em certas tarefas-chave de engenharia de software. (Pode inicialmente não ter capacidades humanas ou sobre-humanas em outros domínios não diretamente relevantes para a engenharia.) Devido à sua capacidade de melhorar recursivamente seus próprios algoritmos, a IA rapidamente se torna sobre-humana; Assim como os especialistas humanos podem, eventualmente, superar os "retornos decrescentes" com a implantação de vários recursos humanos para inovação, também a IA de nível especialista pode usar recursos de estilo humano ou seus próprios recursos específicos de IA para impulsionar através de novos avanços criativos. A IA, então, possui inteligência que ultrapassa em muito a das mentes humanas mais brilhantes e talentosas em praticamente todos os campos relevantes, incluindo criatividade científica, planejamento estratégico e habilidades sociais. Assim como a sobrevivência atual dos gorilas depende das decisões humanas, também a sobrevivência humana dependeria das decisões e objetivos da IA sobre-humana.

Quase qualquer IA, não importa seu objetivo programado, racionalmente preferiria estar em uma posição onde ninguém mais possa desligá-lo sem seu consentimento: uma superinteligência irá naturalmente obter autopreservação como um subobjetivo assim que perceber que não pode atingir seu objetivo se estiver desligado. Infelizmente, qualquer compaixão por humanos derrotados, cuja cooperação não é mais necessária, estaria ausente na IA, a menos que de alguma forma pré-programada. Uma IA superinteligente não terá um impulso natural para ajudar humanos, pela mesma razão que os humanos não têm desejo natural de ajudar Sistemas de IA que não têm mais uso para eles. (Outra analogia é que os humanos parecem ter pouco desejo natural de sair de seu caminho para ajudar vírus, cupins ou mesmo gorilas.) Uma vez no comando, a superinteligência terá pouco incentivo para permitir que os humanos circulem livremente e consumam recursos que a superinteligência poderia, em vez disso, usar para construir para si própria sistemas de proteção adicionais "apenas para estar no lado seguro" ou para construir computadores adicionais para ajudá-la a calcular a melhor forma de cumprir seus objetivos.

Assim, o argumento conclui, é provável que algum dia uma explosão de inteligência pegue a humanidade despreparada, e que tal explosão de inteligência despreparada pode resultar na extinção humana ou um destino comparável.

Cenários possíveis

Alguns estudiosos propuseram cenários hipotéticos com a intenção de ilustrar concretamente algumas de suas preocupações.

Em Superinteligência , Nick Bostrom expressa preocupação de que, mesmo que o cronograma para a superinteligência seja previsível, os pesquisadores podem não tomar precauções de segurança suficientes, em parte porque "[pode] ser o caso de que, quando burros, mais inteligente é seguro; ainda assim, quando inteligentes , mais inteligente é mais perigoso ". Bostrom sugere um cenário onde, ao longo de décadas, a IA se torna mais poderosa. A implantação generalizada é inicialmente prejudicada por acidentes ocasionais - um ônibus sem motorista desvia para a pista em sentido contrário ou um drone militar atira em uma multidão inocente. Muitos ativistas pedem supervisão e regulamentação mais rígidas, e alguns até prevêem uma catástrofe iminente. Mas, à medida que o desenvolvimento continua, os ativistas estão errados. Conforme a IA automotiva se torna mais inteligente, ela sofre menos acidentes; à medida que robôs militares alcançam alvos mais precisos, eles causam menos danos colaterais. Com base nos dados, os estudiosos inferem erroneamente uma lição ampla - quanto mais inteligente a IA, mais segura ela é. "E então vamos corajosamente - para as facas giratórias", enquanto a IA superinteligente dá uma "guinada traiçoeira" e explora uma vantagem estratégica decisiva.

No livro Life 3.0 de Max Tegmark de 2017 , a "equipe Omega" de uma corporação cria uma IA extremamente poderosa, capaz de melhorar moderadamente seu próprio código-fonte em uma série de áreas, mas após um certo ponto a equipe opta por minimizar publicamente a capacidade da IA, a fim de evitar a regulamentação ou confisco do projeto. Por segurança, a equipe mantém a IA em uma caixa onde ela é praticamente incapaz de se comunicar com o mundo exterior e a tarefa de inundar o mercado por meio de empresas de fachada, primeiro com tarefas do Amazon Mechanical Turk e depois com a produção de filmes animados e programas de TV. Mais tarde, outras empresas de fachada fazem medicamentos de biotecnologia de sucesso e outras invenções, investindo os lucros de volta na IA. A próxima equipe incumbe a IA de fazer astroturfing um exército de pseudônimos cidadãos jornalistas e comentaristas, a fim de obter influência política para usar "para o bem maior" para prevenir guerras. A equipe enfrenta riscos de que a IA possa tentar escapar inserindo "backdoors" nos sistemas que projeta, por meio de mensagens ocultas em seu conteúdo produzido ou usando sua compreensão crescente do comportamento humano para persuadir alguém a deixá-lo livre . A equipe também enfrenta o risco de que sua decisão de encaixotar o projeto o atrase por tempo suficiente para que outro projeto o supere.

Em contraste, o físico Michio Kaku , um cético em relação ao risco de IA, postula um resultado positivo determinista . Em Physics of the Future, ele afirma que "Levará muitas décadas para os robôs ascenderem" em uma escala de consciência, e que, enquanto isso, corporações como a Hanson Robotics provavelmente terão sucesso na criação de robôs que são "capazes de amar e ganhar um lugar na família humana estendida ".

Argumentos antopomórficos

Os argumentos antropomórficos pressupõem que as máquinas estão "evoluindo" em uma escala linear e que, à medida que alcançam os níveis mais elevados, começam a exibir muitos traços humanos, como moralidade ou sede de poder. Embora os cenários antropomórficos sejam comuns na ficção, eles são rejeitados pela maioria dos estudiosos que escrevem sobre o risco existencial da inteligência artificial.

Na ficção científica, uma IA, embora não tenha sido programada com emoções humanas, muitas vezes experimenta espontaneamente essas emoções de qualquer maneira: por exemplo, o agente Smith em Matrix foi influenciado por uma "repulsa" pela humanidade. Isso é antropomorfismo fictício: na realidade, embora uma inteligência artificial pudesse talvez ser deliberadamente programada com emoções humanas, ou poderia desenvolver algo semelhante a uma emoção como um meio para um objetivo final se fosse útil fazê-lo, ela não desenvolveria espontaneamente o ser humano emoções sem nenhum propósito, como retratado na ficção.

O debate acadêmico é entre um lado que se preocupa se a IA pode destruir a humanidade e o outro lado que acredita que a IA não destruiria a humanidade de forma alguma. Ambos os lados alegaram que as previsões dos outros sobre o comportamento de uma IA são antropomorfismo ilógico. Os céticos acusam os proponentes do antropomorfismo por acreditarem que um AGI naturalmente desejaria o poder; os proponentes acusam alguns céticos do antropomorfismo por acreditar que um AGI valorizaria naturalmente as normas éticas humanas.

O psicólogo evolucionista Steven Pinker , um cético, argumenta que "as distopias de IA projetam uma psicologia macho alfa paroquial no conceito de inteligência. Eles assumem que robôs super-humanos inteligentes desenvolveriam objetivos como depor seus mestres ou dominar o mundo"; talvez em vez disso "a inteligência artificial se desenvolverá naturalmente ao longo das linhas femininas: totalmente capaz de resolver problemas, mas sem nenhum desejo de aniquilar inocentes ou dominar a civilização". O cientista da computação Yann LeCun afirma que "Os humanos têm todos os tipos de unidades que os fazem fazer coisas ruins uns com os outros, como o instinto de autopreservação ... Essas unidades são programadas em nosso cérebro, mas não há absolutamente nenhuma razão para construir robôs que o mesmo tipo de unidades ".

Um exemplo que pode inicialmente ser considerado antropomorfismo, mas na verdade é uma afirmação lógica sobre o comportamento da IA, seriam os experimentos de Dario Floreano em que certos robôs desenvolveram espontaneamente uma capacidade bruta de "engano" e enganaram outros robôs para que comessem "veneno" e morressem : aqui, um traço, "engano", normalmente associado a pessoas e não a máquinas, evolui espontaneamente em um tipo de evolução convergente . De acordo com Paul R. Cohen e Edward Feigenbaum , a fim de diferenciar entre antropomorfização e previsão lógica do comportamento da IA, "o truque é saber o suficiente sobre como os humanos e os computadores pensam para dizer exatamente o que têm em comum e, quando nos falta esse conhecimento, para usar a comparação para sugerir teorias do pensamento humano ou do pensamento computacional. "

Há uma suposição quase universal na comunidade científica de que uma IA avançada, mesmo que tenha sido programada para ter, ou adotou, dimensões da personalidade humana (como psicopatia ) para se tornar mais eficiente em certas tarefas, por exemplo, tarefas envolvendo matar humanos , não destruiria a humanidade a partir de emoções humanas como "vingança" ou "raiva". Não há razão para supor que um IA avançado seria "consciente" ou teria o equivalente computacional da testosterona; ignora o fato de que os planejadores militares vêem uma superinteligência consciente como o 'Santo Graal' da guerra interestadual.

Questões terminológicas

Parte da discordância sobre se uma máquina superinteligente se comportaria moralmente pode surgir de uma diferença terminológica. Fora do campo da inteligência artificial, "inteligência" é freqüentemente usada de uma maneira normativamente densa que conota sabedoria moral ou aceitação de formas agradáveis de raciocínio moral. No extremo, se a moralidade faz parte da definição de inteligência, então, por definição, uma máquina superinteligente se comportaria moralmente. No entanto, no campo da pesquisa de inteligência artificial, embora "inteligência" tenha muitas definições sobrepostas, nenhuma delas faz referência à moralidade. Em vez disso, quase todas as pesquisas atuais de "inteligência artificial" se concentram na criação de algoritmos que "otimizam", de forma empírica, o alcance de um objetivo arbitrário.

Para evitar o antropomorfismo ou a bagagem da palavra "inteligência", uma inteligência artificial avançada pode ser pensada como um "processo de otimização" impessoal que executa estritamente todas as ações consideradas mais prováveis de cumprir seus objetivos (possivelmente complicados e implícitos). Outra forma de conceituar uma inteligência artificial avançada é imaginar uma máquina do tempo que envia para trás no tempo informações sobre quais escolhas sempre levam à maximização de sua função objetivo; essa escolha é emitida, independentemente de quaisquer preocupações éticas estranhas.

Fontes de risco

Dificuldade de especificar metas

É difícil especificar um conjunto de objetivos para uma máquina que garanta a prevenção de consequências indesejadas.

Embora não haja uma terminologia padronizada, uma IA pode ser vagamente vista como uma máquina que escolhe qualquer ação que pareça melhor atingir o conjunto de objetivos da IA, ou "função de utilidade". A função de utilidade é um algoritmo matemático que resulta em uma única resposta definida objetivamente, não em uma declaração em inglês ou em outra língua. Os pesquisadores sabem como escrever funções utilitárias que significam "minimizar a latência média da rede neste modelo de telecomunicações específico" ou "maximizar o número de cliques de recompensa"; no entanto, eles não sabem como escrever uma função de utilidade para "maximizar o florescimento humano", nem está claro atualmente se tal função existe de forma significativa e inequívoca. Além disso, uma função de utilidade que expressa alguns valores, mas não outros, tenderá a atropelar os valores não refletidos pela função de utilidade. O pesquisador de IA Stuart Russell escreve:

A principal preocupação não é a consciência emergente assustadora, mas simplesmente a capacidade de tomar decisões de alta qualidade . Aqui, qualidade se refere à utilidade esperada do resultado das ações executadas, onde a função de utilidade é, presumivelmente, especificada pelo projetista humano. Agora nós temos um problema:

A função de utilidade pode não estar perfeitamente alinhada com os valores da raça humana, que são (na melhor das hipóteses) muito difíceis de definir.

Qualquer sistema inteligente suficientemente capaz preferirá assegurar sua própria existência continuada e adquirir recursos físicos e computacionais - não para seu próprio bem, mas para ter sucesso em sua tarefa designada.

Um sistema que está otimizando uma função de n variáveis, onde o objetivo depende de um subconjunto de tamanho k < n , freqüentemente definirá as variáveis irrestritas restantes para valores extremos; se uma dessas variáveis irrestritas for realmente algo com que nos importamos, a solução encontrada pode ser altamente indesejável. Esta é essencialmente a velha história do gênio da lâmpada, ou do aprendiz de feiticeiro, ou Rei Midas: você obtém exatamente o que pede, não o que deseja. Um tomador de decisão altamente capaz - especialmente aquele conectado pela Internet a todas as informações do mundo e bilhões de telas e a maior parte de nossa infraestrutura - pode ter um impacto irreversível na humanidade.

Esta não é uma dificuldade menor. Melhorar a qualidade da decisão, independentemente da função de utilidade escolhida, tem sido o objetivo da pesquisa de IA - o objetivo principal em que agora gastamos bilhões por ano, não a trama secreta de algum gênio do mal solitário.

Dietterich e Horvitz ecoam a preocupação do "Aprendiz de Feiticeiro" em um editorial da Communications of the ACM , enfatizando a necessidade de sistemas de IA que possam solicitar informações humanas de maneira fluida e inequívoca.

A primeira das duas preocupações de Russell acima é que os sistemas de IA autônomos podem receber objetivos errados por acidente. Dietterich e Horvitz observam que isso já é uma preocupação para os sistemas existentes: "Um aspecto importante de qualquer sistema de IA que interage com as pessoas é que ele deve raciocinar sobre o que as pessoas pretendem, em vez de executar comandos literalmente." Essa preocupação se torna mais séria à medida que o software de IA avança em autonomia e flexibilidade. Por exemplo, em 1982, uma IA chamada Eurisko foi incumbida de recompensar processos por aparentemente criar conceitos considerados valiosos pelo sistema. A evolução resultou em um processo vencedor que trapaceou: em vez de criar seus próprios conceitos, o processo vencedor roubaria crédito de outros processos.

O Open Philanthropy Project resume os argumentos de que objetivos mal especificados se tornarão uma preocupação muito maior se os sistemas de IA alcançarem inteligência geral ou superinteligência . Bostrom, Russell e outros argumentam que os sistemas de tomada de decisão mais inteligentes do que o ser humano podem chegar a soluções mais inesperadas e extremas para as tarefas atribuídas e podem modificar a si próprios ou ao seu ambiente de maneiras que comprometem os requisitos de segurança.

As Três Leis da Robótica de Isaac Asimov são um dos primeiros exemplos de medidas de segurança propostas para agentes de IA. As leis de Asimov tinham o objetivo de impedir que robôs machucassem humanos. Nas histórias de Asimov, os problemas com as leis tendem a surgir de conflitos entre as regras conforme declaradas e as intuições e expectativas morais dos humanos. Citando o trabalho de Eliezer Yudkowsky, do Machine Intelligence Research Institute , Russell e Norvig observam que um conjunto realista de regras e objetivos para um agente de IA precisará incorporar um mecanismo para aprender valores humanos ao longo do tempo: "Não podemos simplesmente dar um programa uma função de utilidade estática, porque as circunstâncias e nossas respostas desejadas às circunstâncias mudam com o tempo. "

Mark Waser, do Digital Wisdom Institute, recomenda evitar a otimização de abordagens baseadas em metas por serem totalmente equivocadas e perigosas. Em vez disso, ele propõe a engenharia de um sistema coerente de leis, ética e moral com uma restrição máxima para fazer cumprir a definição funcional de moralidade do psicólogo social Jonathan Haidt: "suprimir ou regular o egoísmo e tornar possível a vida social cooperativa". Ele sugere que isso pode ser feito implementando uma função de utilidade projetada para sempre satisfazer a funcionalidade de Haidt e visar geralmente aumentar (mas não maximizar) as capacidades do eu, de outros indivíduos e da sociedade como um todo, conforme sugerido por John Rawls e Martha Nussbaum .

Nick Bostrom oferece um exemplo hipotético de dar a uma IA o objetivo de fazer os humanos sorrirem para ilustrar uma tentativa equivocada. Se a IA nesse cenário se tornasse superinteligente, argumenta Bostrom, ela poderia recorrer a métodos que a maioria dos humanos consideraria horríveis, como inserir "eletrodos nos músculos faciais de humanos para causar sorrisos constantes e radiantes", porque isso seria um método eficiente maneira de atingir seu objetivo de fazer os humanos sorrirem.

Dificuldades de modificar a especificação da meta após o lançamento

Embora os programas atuais de IA baseada em metas não sejam inteligentes o suficiente para pensar em resistir às tentativas do programador de modificar suas estruturas de metas, uma IA suficientemente avançada, racional e "autoconsciente" pode resistir a quaisquer mudanças em sua estrutura de metas, assim como um pacifista não faria querem tomar uma pílula que dá vontade de matar pessoas. Se a IA fosse superinteligente, provavelmente teria sucesso em manobrar seus operadores humanos e seria capaz de evitar ser "desligada" ou reprogramada com um novo objetivo.

Convergência de objetivo instrumental

Uma meta "instrumental" é uma pré-condição para outras metas - uma meta secundária necessária para atingir o objetivo principal de um agente. “Convergência instrumental” é a observação de que existem alguns objetivos que são pré-requisitos para qualquer objetivo, como a aquisição de recursos ou a autopreservação. Nick Bostrom argumenta que qualquer IA suficientemente inteligente que tenha objetivos exibirá esse comportamento convergente - se os objetivos instrumentais da IA entrarem em conflito com os da humanidade, pode prejudicar a humanidade a fim de adquirir mais recursos ou evitar que seja encerrada, mas apenas como um meio de alcançar seu objetivo principal.

Citando o trabalho de Steve Omohundro sobre a ideia de convergência instrumental e "unidades básicas de IA", Stuart Russell e Peter Norvig escreveram que "mesmo que você apenas queira que seu programa jogue xadrez ou prove teoremas, se você lhe der a capacidade de aprender e alterar-se, você precisa de salvaguardas. " Sistemas de planejamento altamente capazes e autônomos requerem verificações adicionais devido ao seu potencial para gerar planos que tratam os humanos de maneira adversa, como competidores por recursos limitados. Construir salvaguardas não será fácil; pode-se certamente dizer em inglês, "queremos que você projete esta usina de forma razoável e de bom senso, e não construa em nenhum subsistema secreto perigoso", mas atualmente não está claro como alguém poderia realmente especificar rigorosamente esse objetivo em Código da máquina.

Russell argumenta que uma máquina suficientemente avançada "terá autopreservação mesmo se você não a programar em ... se você disser: 'Vá buscar o café', ela não poderá buscar o café se estiver morto. Então, se você der para qualquer objetivo, ele tem uma razão para preservar sua própria existência para atingir esse objetivo. "

Tese de ortogonalidade

Uma crença comum é que qualquer programa superinteligente criado por humanos seria subserviente aos humanos, ou, melhor ainda, (à medida que se torna mais inteligente e aprende mais fatos sobre o mundo) espontaneamente "aprenderia" uma verdade moral compatível com os valores humanos e iria ajustar seus objetivos de acordo. Outros contra-argumentos giram em torno dos seres humanos serem intrinsecamente ou convergentemente valiosos da perspectiva de uma inteligência artificial.

No entanto, a "tese da ortogonalidade" de Nick Bostrom argumenta contra isso e, em vez disso, afirma que, com algumas ressalvas técnicas, mais ou menos qualquer nível de "inteligência" ou "poder de otimização" pode ser combinado com mais ou menos qualquer objetivo final. Se uma máquina é criada e recebe o único propósito de enumerar os decimais de , então nenhuma regra moral e ética a impedirá de atingir seu objetivo programado por qualquer meio necessário. A máquina pode utilizar todos os recursos físicos e informativos que puder para encontrar cada decimal de pi que puder ser encontrado. Bostrom adverte contra o antropomorfismo: um ser humano se empenhará em realizar seus projetos de uma maneira que os humanos considerem "razoável", enquanto uma inteligência artificial pode não se importar com sua existência ou com o bem-estar dos humanos ao seu redor e, em vez disso, pode apenas se preocupar com a conclusão da tarefa. ${\ displaystyle \ pi}$

Enquanto a tese da ortogonalidade segue logicamente até mesmo do tipo mais fraco de " distinção é-deve-se " filosófica , Stuart Armstrong argumenta que mesmo que existam de alguma forma fatos morais que são prováveis por qualquer agente "racional", a tese da ortogonalidade ainda se mantém: ela ainda seria ser possível criar uma "máquina otimizadora" não filosófica capaz de tomar decisões para se esforçar em direção a algum objetivo estreito, mas que não tem incentivo para descobrir quaisquer "fatos morais" que possam atrapalhar o cumprimento do objetivo.

Um argumento para a tese da ortogonalidade é que alguns projetos de IA parecem ter ortogonalidade incorporada a eles; em tal projeto, transformar uma IA fundamentalmente amigável em uma IA fundamentalmente hostil pode ser tão simples quanto adicionar um sinal de menos ("-") à sua função de utilidade. Um argumento mais intuitivo é examinar as estranhas consequências que se seguiriam se a tese da ortogonalidade fosse falsa. Se a tese da ortogonalidade fosse falsa, existiria algum objetivo G simples, mas "antiético", de modo que não poderia existir nenhum algoritmo do mundo real eficiente com o objetivo G. Isso significaria que "[se] uma sociedade humana fosse altamente motivada para projetar um algoritmo do mundo real eficiente com objetivo G, e foi dado um milhão de anos para fazer isso, juntamente com grandes quantidades de recursos, treinamento e conhecimento sobre IA, ele deve falhar. " Armstrong observa que esta e outras declarações semelhantes "parecem afirmações extraordinariamente fortes".

Alguns dissidentes, como Michael Chorost , argumentam que "no momento em que [a IA] estiver em posição de imaginar a construção de painéis solares na Terra, ela saberá que seria moralmente errado fazê-lo". Chorost argumenta que "uma IA precisará desejar certos estados e não gostar de outros. O software de hoje não tem essa capacidade - e os cientistas da computação não têm ideia de como fazer isso. Sem querer, não há ímpeto para fazer nada. Os computadores de hoje não podem quer até mesmo continuar existindo, quanto mais revestir o mundo com painéis solares. "

O cientista político Charles T. Rubin acredita que a IA não pode ser projetada nem garantida como benevolente. Ele argumenta que "qualquer benevolência suficientemente avançada pode ser indistinguível da malevolência". Os humanos não deveriam presumir que máquinas ou robôs nos tratariam favoravelmente porque não há razão a priori para acreditar que eles seriam simpáticos ao nosso sistema de moralidade, que evoluiu junto com nossa biologia particular (que as IAs não compartilhariam).

Outras fontes de risco

Concorrência

Em 2014, o filósofo Nick Bostrom afirmou que uma "dinâmica de corrida severa" ( competição extrema ) entre equipes diferentes pode criar condições pelas quais a criação de um AGI resulta em atalhos para a segurança e conflito potencialmente violento. Para enfrentar esse risco, citando a colaboração científica anterior ( CERN , o Projeto Genoma Humano e a Estação Espacial Internacional ), Bostrom recomendou a colaboração e a adoção global altruísta de um princípio do bem comum : "A superinteligência deve ser desenvolvida apenas para o benefício de todos humanidade e a serviço de ideais éticos amplamente compartilhados ”. ^{: 254} Bostrom teorizou que a colaboração na criação de uma inteligência geral artificial ofereceria vários benefícios, incluindo a redução da pressa, aumentando assim o investimento em segurança; evitando conflitos violentos (guerras), facilitando o compartilhamento de soluções para o problema de controle e distribuindo os benefícios de forma mais eqüitativa. ^{: 253} A Iniciativa do Cérebro dos Estados Unidos foi lançada em 2014, assim como o Projeto do Cérebro Humano da União Europeia ; O Projeto Cérebro da China foi lançado em 2016.

Armamento de inteligência artificial

Algumas fontes argumentam que o uso contínuo de armas da inteligência artificial pode constituir um risco catastrófico. O risco é realmente triplo, com o primeiro risco potencialmente tendo implicações geopolíticas, e os dois segundos definitivamente tendo implicações geopolíticas:

i) Os perigos de um enquadramento de IA 'corrida por vantagem tecnológica', independentemente de a corrida ser levada a sério;

ii) Os perigos de um enquadramento de 'corrida por vantagem tecnológica' de IA e uma corrida de IA real por vantagem tecnológica, independentemente de a corrida ser ganha;

iii) Os perigos de uma corrida de IA por vantagem tecnológica ser vencida. ^{: 37}

Uma superinteligência consciente armada afetaria a atual supremacia tecnológica militar dos Estados Unidos e transformaria a guerra; é, portanto, altamente desejável para o planejamento militar estratégico e a guerra interestadual. O "Plano de Desenvolvimento de Inteligência Artificial da Próxima Geração" de 2017 do Conselho de Estado da China vê a IA em termos geopolíticos estratégicos e busca uma estratégia de fusão civil-militar para aproveitar a vantagem de pioneiro da China no desenvolvimento de IA, a fim de estabelecer a supremacia tecnológica até 2030 , enquanto o presidente da Rússia, Vladimir Putin, afirmou que “quem quer que se torne o líder nesta esfera se tornará o governante do mundo”. James Barrat, documentarista e autor de Our Final Invention , disse em uma entrevista ao Smithsonian : "Imagine: em apenas uma década, meia dúzia de empresas e nações criarão computadores que rivalizam ou superam a inteligência humana. Imagine o que acontece quando esses computadores torne-se especialista em programar computadores inteligentes. Em breve estaremos compartilhando o planeta com máquinas milhares ou milhões de vezes mais inteligentes do que nós. E, o tempo todo, cada geração dessa tecnologia será transformada em armas. Não regulamentada, será catastrófica. "

AGI malévolo por design

Teoriza-se que o malévolo AGI poderia ser criado intencionalmente, por exemplo, por um militar, um governo, um sociopata ou uma corporação, para se beneficiar, controlar ou subjugar certos grupos de pessoas, como no crime cibernético . ^{: 166} Alternativamente, o malévolo AGI ('IA do mal') poderia escolher o objetivo de aumentar o sofrimento humano, por exemplo, daquelas pessoas que não o ajudaram durante a fase de explosão de informações. ^{: 158}

Ataque nuclear preventivo

Teoriza-se que um país próximo de alcançar a supremacia tecnológica da AGI poderia desencadear um ataque nuclear preventivo de um rival, levando a uma guerra nuclear .

Prazo

As opiniões variam sobre se e quando a inteligência artificial geral chegará. Em um extremo, o pioneiro da IA Herbert A. Simon previu o seguinte em 1965: "as máquinas serão capazes, dentro de vinte anos, de fazer qualquer trabalho que um homem possa fazer". No outro extremo, o roboticista Alan Winfield afirma que o abismo entre a computação moderna e a inteligência artificial de nível humano é tão grande quanto o abismo entre o vôo espacial atual e o vôo espacial prático, mais rápido que o leve. O otimismo de que o AGI é viável aumenta e diminui, e pode ter ressurgido na década de 2010. Quatro pesquisas realizadas em 2012 e 2013 sugeriram que a estimativa média entre os especialistas de quando o AGI chegaria era de 2040 a 2050, dependendo da pesquisa.

Os céticos que acreditam ser impossível para o AGI chegar tão cedo tendem a argumentar que expressar preocupação sobre o risco existencial da IA é inútil porque pode distrair as pessoas de preocupações mais imediatas sobre o impacto do AGI, por temer que isso possa levar a uma regulamentação governamental ou dificultar a obtenção de financiamento para pesquisas de IA, ou porque isso poderia dar uma má reputação à pesquisa de IA. Alguns pesquisadores, como Oren Etzioni, buscam agressivamente suprimir a preocupação com o risco existencial da IA, dizendo "[Elon Musk] nos impugnou em uma linguagem muito forte dizendo que estamos libertando o demônio, e então estamos respondendo."

Em 2014, Slate 's Adam Elkus argumentou "nosso 'mais inteligente' AI é tão inteligente como uma criança, e só quando se trata de tarefas instrumentais como recordação da informação. A maioria dos roboticistas ainda estão tentando obter uma mão robô para pegar uma bola ou correr sem cair. " Elkus prossegue, argumentando que a analogia de Musk com a "convocação do demônio" pode ser prejudicial porque pode resultar em "cortes severos" nos orçamentos de pesquisa de IA.

A Information Technology and Innovation Foundation (ITIF), um think-tank de Washington, DC, concedeu seu Prêmio Luddite Anual de 2015 a "alarmistas que apregoam um apocalipse da inteligência artificial"; seu presidente, Robert D. Atkinson , reclamou que Musk, Hawking e especialistas em IA dizem que a IA é a maior ameaça existencial para a humanidade. Atkinson declarou: "Essa não é uma mensagem muito vencedora se você deseja obter financiamento de IA do Congresso para a Fundação Nacional de Ciência." A Nature discordou agudamente da ITIF em um editorial de abril de 2016, ao invés disso, apoiou Musk, Hawking e Russell, e concluiu: "É crucial que o progresso na tecnologia seja acompanhado por pesquisas sólidas e bem financiadas para antecipar os cenários que isso poderia ocasionar ... Se essa é uma perspectiva ludita, então que seja. " Em um editorial do Washington Post de 2015 , o pesquisador Murray Shanahan afirmou que a IA de nível humano provavelmente não chegará "em breve", mas que, no entanto, "a hora de começar a pensar nas consequências é agora".

Perspectivas

A tese de que a IA pode representar um risco existencial provoca uma ampla gama de reações na comunidade científica, bem como no público em geral. Muitos dos pontos de vista opostos, no entanto, compartilham um terreno comum.

Os Princípios Asilomar AI, que contêm apenas os princípios acordados por 90% dos participantes da conferência Benéfica AI 2017 do Instituto Futuro da Vida , concordam em princípio que "Não havendo consenso, devemos evitar fortes suposições sobre os limites superiores capacidades futuras de IA "e" IA avançada pode representar uma mudança profunda na história da vida na Terra e deve ser planejada e administrada com cuidado e recursos adequados. " Defensores da segurança da IA, como Bostrom e Tegmark, criticaram o uso pela mídia convencional de "aquelas imagens inúteis do Terminator " para ilustrar as preocupações com a segurança da IA: "Não pode ser muito divertido difamar sua disciplina acadêmica, sua comunidade profissional, sua vida trabalho ... Eu apelo a todas as partes para praticar a paciência e moderação, e para se envolver em diálogo direto e colaboração, tanto quanto possível. "

Por outro lado, muitos céticos concordam que a pesquisa em andamento sobre as implicações da inteligência artificial geral é valiosa. O cético Martin Ford afirma que "acho sensato aplicar algo como a famosa 'Doutrina do 1%' de Dick Cheney ao espectro da inteligência artificial avançada: as chances de sua ocorrência, pelo menos em um futuro previsível, podem ser muito baixas - mas as implicações são tão dramáticas que deve ser levado a sério "; da mesma forma, um economista cético afirmou em 2014 que "as implicações da introdução de uma segunda espécie inteligente na Terra são de longo alcance para merecer uma reflexão profunda, mesmo que a perspectiva pareça remota".

Uma pesquisa de 2014 mostrou que a opinião de especialistas no campo da inteligência artificial é mista, com frações consideráveis preocupadas e despreocupadas com o risco de uma eventual IA com capacidade sobre-humana. Uma pesquisa por e-mail de 2017 de pesquisadores com publicações nas conferências de aprendizado de máquina NIPS e ICML de 2015 solicitou que eles avaliassem as preocupações de Stuart J. Russell sobre o risco de IA. Dos entrevistados, 5% disseram que era "um dos problemas mais importantes na área", 34% disseram que era "um problema importante" e 31% disseram que era "moderadamente importante", enquanto 19% disseram que "não era importante "e 11% disseram que" não era um problema real ".

Endosso

Bill Gates declarou: "Eu ... não entendo por que algumas pessoas não estão preocupadas."

A tese de que a IA representa um risco existencial, e que esse risco precisa de muito mais atenção do que recebe atualmente, foi endossada por muitas figuras públicas; talvez os mais famosos sejam Elon Musk , Bill Gates e Stephen Hawking . Os pesquisadores de IA mais notáveis a endossar a tese são Russell e IJ Good , que aconselharam Stanley Kubrick nas filmagens de 2001: A Space Odyssey . Endossantes da tese às vezes expressam perplexidade com os céticos: Gates afirma que não "entende por que algumas pessoas não estão preocupadas", e Hawking criticou a indiferença generalizada em seu editorial de 2014:

'Então, diante de possíveis futuros de riscos e benefícios incalculáveis, os especialistas certamente estão fazendo todo o possível para garantir o melhor resultado, certo? Errado. Se uma civilização alienígena superior nos enviasse uma mensagem dizendo: 'Chegaremos em algumas décadas', responderíamos apenas: 'OK, ligue-nos quando chegar aqui - vamos deixar as luzes acesas?' Provavelmente não - mas isso é mais ou menos o que está acontecendo com a IA. '

A preocupação com o risco da inteligência artificial levou a algumas doações e investimentos de alto nível. Um grupo de proeminentes titãs da tecnologia, incluindo Peter Thiel , Amazon Web Services e Musk, comprometeu US $ 1 bilhão para a OpenAI , uma empresa sem fins lucrativos que visa defender o desenvolvimento de IA responsável. Em janeiro de 2015, Elon Musk doou US $ 10 milhões para o Future of Life Institute para financiar pesquisas sobre a compreensão da tomada de decisões em IA. O objetivo do instituto é "desenvolver a sabedoria com a qual administramos" o poder crescente da tecnologia. Musk também financia empresas que desenvolvem inteligência artificial, como DeepMind e Vicarious, para "apenas ficar de olho no que está acontecendo com a inteligência artificial. Acho que há um resultado potencialmente perigoso nisso".

Ceticismo

A tese de que a IA pode representar risco existencial também tem muitos detratores fortes. Os céticos às vezes afirmam que a tese é cripto-religiosa, com uma crença irracional na possibilidade de a superinteligência substituir uma crença irracional em um Deus onipotente; no extremo, Jaron Lanier argumentou em 2014 que todo o conceito de que as máquinas atuais eram de alguma forma inteligentes era "uma ilusão" e um "golpe estupendo" dos ricos.

Muitas das críticas existentes argumentam que AGI é improvável no curto prazo. O principal pesquisador de IA, Rodney Brooks , escreve: "Acho que é um erro nos preocuparmos com o desenvolvimento de IA malévola a qualquer momento nas próximas centenas de anos. Acho que a preocupação se origina de um erro fundamental em não distinguir a diferença entre os avanços recentes muito reais em um aspecto particular da IA e na enormidade e complexidade da construção da inteligência volitiva senciente. " O vice-presidente do Baidu , Andrew Ng, afirma que o risco existencial de IA é "como se preocupar com a superpopulação em Marte, quando ainda nem colocamos os pés no planeta". O cientista da computação Gordon Bell argumenta que a raça humana já se destruirá antes de atingir a singularidade tecnológica. Gordon Moore , o proponente original da Lei de Moore , declara que "Sou um cético. Não acredito que [uma singularidade tecnológica] aconteça, pelo menos por muito tempo. E não sei por que sinto isso caminho."

Para que o perigo da IA avançada não controlada seja percebida, a IA hipotética teria que dominar ou superar toda a humanidade, o que alguns especialistas argumentam ser uma possibilidade longe o suficiente no futuro para não valer a pena pesquisar. A IA teria que se tornar muito melhor em inovação de software do que os melhores inovadores do resto do mundo; o economista Robin Hanson está cético de que isso seja possível.

Alguns pesquisadores de IA e AGI podem relutar em discutir os riscos, preocupando-se que os legisladores não tenham conhecimento sofisticado do campo e sejam propensos a serem convencidos por mensagens "alarmistas", ou preocupados que tais mensagens levem a cortes no financiamento da IA. Slate observa que alguns pesquisadores dependem de doações de agências governamentais como a DARPA .

Vários céticos argumentam que os benefícios potenciais de curto prazo da IA superam os riscos. O CEO do Facebook, Mark Zuckerberg, acredita que a IA "revelará uma grande quantidade de coisas positivas", como a cura de doenças e o aumento da segurança dos carros autônomos.

Visualizações intermediárias

As visões intermediárias geralmente assumem a posição de que o problema de controle da inteligência artificial geral pode existir, mas que será resolvido por meio do progresso na inteligência artificial, por exemplo, criando um ambiente de aprendizado moral para a IA, tomando cuidado para detectar comportamento malévolo desajeitado (o 'tropeço sórdido') e, em seguida, intervir diretamente no código antes que a IA refine seu comportamento, ou mesmo a pressão dos colegas de IAs amigáveis . Em 2015 Wall Street Journal painel de discussão dedicado a riscos AI, IBM 's Vice-Presidente da Cognitive Computing, Guruduth Banavar S., rejeitou discussão da AGI com a frase, "isso é especulação de ninguém." Geoffrey Hinton , o "padrinho da aprendizagem profunda", observou que "não há um bom histórico de coisas menos inteligentes controlando coisas de maior inteligência", mas afirmou que continua sua pesquisa porque "a perspectiva de descoberta é doce demais ". Em 2004, o professor de direito Richard Posner escreveu que os esforços dedicados para lidar com a IA podem esperar, mas que devemos reunir mais informações sobre o problema enquanto isso.

Reação popular

Em um artigo de 2014 no The Atlantic , James Hamblin observou que a maioria das pessoas não se importa de uma forma ou de outra com a inteligência artificial geral e caracterizou sua própria reação instintiva ao tópico como: "Saia daqui. Tenho cem mil coisas Estou preocupado com este exato momento. Eu realmente preciso adicionar a isso uma singularidade tecnológica? "

Durante uma entrevista da Wired em 2016 do presidente Barack Obama e Joi Ito do MIT Media Lab , Ito afirmou:

Algumas pessoas acreditam que há uma chance bastante alta de que uma IA generalizada aconteça nos próximos 10 anos. Mas a maneira como vejo as coisas é que, para que isso aconteça, precisaremos de uma dúzia ou duas inovações diferentes. Portanto, você pode monitorar quando acha que essas inovações acontecerão.

Obama adicionou:

E você só precisa ter alguém perto do cabo de alimentação. [Risos] Bem quando você vê que isso vai acontecer, você tem que arrancar a eletricidade da parede, cara.

Hillary Clinton declarou em What Happened :

Tecnólogos ... alertaram que a inteligência artificial pode um dia representar uma ameaça à segurança existencial. Musk o chamou de "o maior risco que enfrentamos como civilização". Pense nisso: você já viu um filme em que as máquinas começam a pensar por si mesmas e acaba bem? Cada vez que ia ao Vale do Silício durante a campanha, voltava para casa mais alarmado com isso. Minha equipe vivia com medo de que eu começasse a falar sobre "a ascensão dos robôs" em alguma prefeitura de Iowa. Talvez eu devesse. Em qualquer caso, os formuladores de políticas precisam se manter atualizados com a tecnologia à medida que ela avança, em vez de ficar sempre tentando se atualizar.

Em uma pesquisa YouGov do público para a British Science Association , cerca de um terço dos entrevistados disseram que a IA representará uma ameaça à sobrevivência da humanidade a longo prazo. Referindo-se a uma enquete com seus leitores, Jacob Brogan da Slate afirmou que "a maioria dos (leitores que preencheram nossa pesquisa online) não estavam convencidos de que a própria IA representa uma ameaça direta."

Em 2018, uma pesquisa da SurveyMonkey com o público americano feita pelo USA Today revelou que 68% achavam que a verdadeira ameaça atual continua sendo a "inteligência humana"; no entanto, a pesquisa também descobriu que 43% disseram que a IA superinteligente, se acontecesse, resultaria em "mais danos do que benefícios", e 38% disseram que faria "quantidades iguais de danos e benefícios".

Um ponto de vista tecno-utópico expresso em alguma ficção popular é que AGI pode tender para a construção da paz.

Mitigação

Muitos dos estudiosos que estão preocupados com o risco existencial acreditam que o melhor caminho a seguir seria conduzir uma pesquisa (possivelmente massiva) para resolver o difícil "problema de controle" para responder à pergunta: quais tipos de salvaguardas, algoritmos ou arquiteturas os programadores podem implementar maximizar a probabilidade de que sua IA de melhoria recursiva continuasse a se comportar de maneira amigável, em vez de destrutiva, depois de atingir a superinteligência? Em seu livro de 2020, O Precipício: Risco Existencial e o Futuro da Humanidade , Toby Ord, pesquisador sênior do Instituto Futuro da Humanidade da Universidade de Oxford , estima o risco existencial total da IA não alinhada no próximo século em cerca de um em dez.

Pesquisadores do Google propuseram pesquisas sobre problemas gerais de "segurança de IA" para mitigar simultaneamente os riscos de curto prazo da IA limitada e os riscos de longo prazo do AGI. Uma estimativa de 2020 coloca os gastos globais em risco existencial de IA em algo entre US $ 10 e US $ 50 milhões, em comparação com os gastos globais em IA em torno de US $ 40 bilhões. Bostrom sugere um princípio geral de "desenvolvimento tecnológico diferencial", que os financiadores devem considerar trabalhar para acelerar o desenvolvimento de tecnologias de proteção em relação ao desenvolvimento de tecnologias perigosas. Alguns financiadores, como Elon Musk , propõem que o aprimoramento cognitivo humano radical poderia ser uma tecnologia desse tipo, por exemplo, por meio da ligação neural direta entre o homem e a máquina; no entanto, outros argumentam que as tecnologias de aprimoramento podem representar um risco existencial. Os pesquisadores, se não forem pegos desprevenidos, podem monitorar de perto ou tentar encaixar uma IA inicial com o risco de se tornarem muito poderosos, como uma tentativa de medida temporária. Uma IA superinteligente dominante, se estivesse alinhada com os interesses humanos, poderia tomar medidas para mitigar o risco de aquisição pela IA rival, embora a criação da IA dominante pudesse representar um risco existencial.

Instituições como o Machine Intelligence Research Institute , o Future of Humanity Institute , o Future of Life Institute , o Center for the Study of Existential Risk e o Center for Human-Compatible AI estão envolvidos na mitigação do risco existencial da inteligência artificial avançada, para exemplo por pesquisa em inteligência artificial amigável .

Opiniões sobre proibição e regulamentação

Banindo

Há um consenso quase universal de que tentar proibir a pesquisa em inteligência artificial seria imprudente e provavelmente fútil. Os céticos argumentam que a regulamentação da IA seria completamente sem valor, já que não existe risco existencial. Quase todos os estudiosos que acreditam que existe risco existencial concordam com os céticos de que banir a pesquisa seria imprudente, já que a pesquisa poderia ser transferida para países com regulamentações mais flexíveis ou conduzida secretamente. A última questão é particularmente relevante, pois a pesquisa de inteligência artificial pode ser feita em pequena escala sem infraestrutura ou recursos substanciais. Duas dificuldades hipotéticas adicionais com proibições (ou outra regulamentação) são que os empreendedores de tecnologia estatisticamente tendem ao ceticismo geral sobre a regulamentação do governo e que as empresas podem ter um forte incentivo (e podem ter sucesso em) lutar contra a regulamentação e politizar o debate subjacente.

Regulamento

Elon Musk pediu algum tipo de regulamentação do desenvolvimento de IA já em 2017. De acordo com a NPR , o CEO da Tesla "claramente não está entusiasmado" por defender o escrutínio do governo que poderia impactar sua própria indústria, mas acredita nos riscos de ir completamente sem supervisão são muito altas: "Normalmente, a forma como as regulamentações são estabelecidas é quando um monte de coisas ruins acontecem, há um clamor público e, depois de muitos anos, uma agência reguladora é criada para regular essa indústria. Isso leva uma eternidade. passado, foi ruim, mas não algo que representasse um risco fundamental para a existência da civilização. " Musk afirma que o primeiro passo seria o governo obter um "insight" sobre o atual status da pesquisa atual, alertando que "uma vez que haja conscientização, as pessoas ficarão extremamente amedrontadas ... [como] deveriam estar." Em resposta, os políticos expressam ceticismo sobre a sabedoria de regulamentar uma tecnologia que ainda está em desenvolvimento.

Respondendo a Musk e às propostas de fevereiro de 2017 dos legisladores da União Europeia para regulamentar a IA e a robótica, o CEO da Intel, Brian Krzanich, argumenta que a inteligência artificial está em sua infância e que é muito cedo para regulamentar a tecnologia. Em vez de tentar regular a tecnologia em si, alguns estudiosos sugerem desenvolver normas comuns, incluindo requisitos para o teste e transparência de algoritmos, possivelmente em combinação com alguma forma de garantia. O desenvolvimento de sistemas de armas bem regulamentados está de acordo com o ethos das forças armadas de alguns países. Em 31 de outubro de 2019, o Conselho de Inovação em Defesa do Departamento de Defesa dos Estados Unidos (DoD) publicou o rascunho de um relatório delineando cinco princípios para IA como arma e fazendo 12 recomendações para o uso ético de inteligência artificial pelo DoD que busca gerenciar o controle problema em todos os AI como arma do DoD.

A regulamentação da AGI provavelmente seria influenciada pela regulamentação da IA armada ou militarizada, ou seja, a corrida armamentista da IA , cuja regulamentação é uma questão emergente. Qualquer forma de regulamentação provavelmente será influenciada por desenvolvimentos na política doméstica dos principais países em relação à IA militarizada, nos Estados Unidos sob a supervisão da Comissão de Segurança Nacional de Inteligência Artificial, e movimentos internacionais para regulamentar uma corrida armamentista de IA. A regulamentação da pesquisa em AGI concentra-se no papel dos conselhos de revisão e no incentivo à pesquisa em IA segura e na possibilidade de progresso tecnológico diferencial (priorizando estratégias de redução de risco sobre estratégias de risco no desenvolvimento de IA) ou na realização de vigilância em massa internacional para realizar armas AGI ao controle. A regulamentação de AGIs conscientes concentra-se em integrá-los à sociedade humana existente e pode ser dividida em considerações de sua situação legal e de seus direitos morais. O controle de armas de IA provavelmente exigirá a institucionalização de novas normas internacionais incorporadas em especificações técnicas eficazes combinadas com monitoramento ativo e diplomacia informal por comunidades de especialistas, juntamente com um processo de verificação legal e política.

Languages

In other projects