A Microsoft demitiu toda a sua equipe de ética e sociedade dentro da organização de inteligência artificial como parte das recentes demissões que afetaram 10.000 funcionários em toda a empresa, jogo de plataformas aprendeu.
A mudança deixa a Microsoft sem uma equipe dedicada para garantir que seus princípios de IA estejam intimamente ligados ao design do produto em um momento em que a empresa está liderando a tarefa de disponibilizar ferramentas de IA para o mainstream, disseram funcionários atuais e antigos.
A Microsoft ainda mantém um Escritório de IA responsável ativo, encarregado de criar regras e princípios para governar as iniciativas de IA da empresa. A empresa diz que seu investimento geral em trabalho de responsabilidade está aumentando, apesar das recentes demissões.
“A Microsoft está comprometida em desenvolver produtos e experiências de IA com segurança e responsabilidade, e o faz investindo em pessoas, processos e parcerias que priorizam isso”, afirmou a empresa em comunicado. “Nos últimos seis anos, aumentamos o número de pessoas em nossas equipes de produtos e no Escritório de IA responsável que, junto com todos nós da Microsoft, são responsáveis por garantir que colocamos nossos princípios de IA em prática. […] Agradecemos o trabalho pioneiro que a Ethics & Society fez para nos ajudar em nossa jornada contínua de IA responsável.”
Mas os funcionários disseram que a equipe de ética e sociedade desempenhou um papel crítico em garantir que os princípios de IA responsável da empresa sejam realmente refletidos no design dos produtos enviados.
“Nosso trabalho era… criar regras em áreas onde não havia nenhuma.”
“As pessoas olhavam para os princípios que saem do escritório da IA responsável e diziam: ‘Não sei como isso se aplica’”, diz um ex-funcionário. “Nosso trabalho era mostrá-los e criar regras em áreas onde não havia nenhuma.”
Nos últimos anos, a equipe projetou um RPG chamado Judgment Call, que ajudou os designers a visualizar possíveis danos que poderiam resultar da IA e discuti-los durante o desenvolvimento do produto. Fazia parte de um “kit de ferramentas de inovação responsável” maior que a equipe publicou publicamente.
Mais recentemente, a equipe tem trabalhado para identificar os riscos decorrentes da adoção da tecnologia OpenAI pela Microsoft em todo o seu conjunto de produtos.
A equipe de ética e sociedade atingiu seu auge em 2020, quando tinha cerca de 30 funcionários, incluindo engenheiros, designers e filósofos. Em outubro, a equipe foi reduzida para cerca de sete pessoas como parte de uma reorganização.
Em uma reunião com a equipe após a reorganização, John Montgomery, vice-presidente corporativo de IA, disse aos funcionários que os líderes da empresa os instruíram a agir rapidamente. “A pressão de [CTO] Kevin [Scott] e [CEO] Satya [Nadella] é muito, muito alto pegar esses modelos mais recentes da OpenAI e os que vêm depois deles e colocá-los nas mãos dos clientes em uma velocidade muito alta”, disse ele, de acordo com o áudio da reunião obtido pela jogo de plataformas.
Por causa dessa pressão, disse Montgomery, grande parte da equipe seria transferida para outras áreas da organização.
Alguns membros da equipe recuaram. “Vou ser ousado o suficiente para pedir a você que reconsidere esta decisão”, disse um funcionário na ligação. “Embora eu entenda que há questões de negócios em jogo… o que esta equipe sempre se preocupou profundamente é como impactamos a sociedade e os impactos negativos que tivemos. E são significativos.”
Montgomery recusou. “Posso reconsiderar? Acho que não vou”, disse ele. “Porque infelizmente as pressões continuam as mesmas. Você não tem a visão que eu tenho, e provavelmente pode ser grato por isso. Tem muita coisa sendo moída na linguiça.”
Em resposta às perguntas, porém, Montgomery disse que o time não seria eliminado.
“Não é que está indo embora – é que está evoluindo”, disse ele. “Está evoluindo para colocar mais energia nas equipes de produtos individuais que estão construindo os serviços e o software, o que significa que o hub central que faz parte do trabalho está transferindo suas habilidades e responsabilidades.”
A maioria dos membros da equipe foi transferida para outro lugar dentro da Microsoft. Posteriormente, os membros restantes da equipe de ética e sociedade disseram que a equipe menor dificultava a implementação de seus planos ambiciosos.
A mudança deixa uma lacuna fundamental no design holístico de produtos de IA, diz um funcionário
Cerca de cinco meses depois, em 6 de março, os funcionários restantes foram instruídos a participar de uma chamada do Zoom às 11h30 para ouvir uma “atualização crítica de negócios” de Montgomery. Durante a reunião, eles foram informados de que sua equipe estava sendo eliminada.
Um funcionário diz que a mudança deixa uma lacuna fundamental na experiência do usuário e no design holístico dos produtos de IA. “O pior é que expusemos o negócio ao risco e os seres humanos ao risco ao fazer isso”, explicaram.
O conflito ressalta uma tensão contínua para os gigantes da tecnologia que constroem divisões dedicadas a tornar seus produtos mais socialmente responsáveis. Na melhor das hipóteses, eles ajudam as equipes de produto a antecipar possíveis usos indevidos da tecnologia e a corrigir quaisquer problemas antes do envio.
Mas eles também têm a função de dizer “não” ou “diminuir a velocidade” dentro de organizações que muitas vezes não querem ouvir isso – ou explicar os riscos que podem levar a dores de cabeça legais para a empresa se surgirem em uma descoberta legal. E o atrito resultante às vezes transborda para a opinião pública.
Em 2020, o Google demitiu a pesquisadora ética de IA Timnit Gebru depois que ela publicou um artigo criticando os grandes modelos de linguagem que explodiriam em popularidade dois anos depois. O furor resultante resultou na saída de vários outros líderes importantes do departamento e diminuiu a credibilidade da empresa em questões responsáveis de IA.
A Microsoft se concentrou em enviar ferramentas de IA mais rapidamente do que seus rivais
Os membros da equipe de ética e sociedade disseram que geralmente tentavam apoiar o desenvolvimento do produto. Mas eles disseram que, à medida que a Microsoft se concentrou em fornecer ferramentas de IA mais rapidamente do que seus rivais, a liderança da empresa ficou menos interessada no tipo de pensamento de longo prazo em que a equipe se especializou.
É uma dinâmica que requer um exame minucioso. Por um lado, a Microsoft pode agora ter uma chance única em uma geração de ganhar força significativa contra o Google em pesquisa, software de produtividade, computação em nuvem e outras áreas em que os gigantes competem. Quando relançou o Bing com IA, a empresa disse aos investidores que cada 1% de participação de mercado que poderia tirar do Google em buscas resultaria em US$ 2 bilhões em receita anual.
Esse potencial explica por que a Microsoft investiu até agora US$ 11 bilhões na OpenAI e está atualmente correndo para integrar a tecnologia da startup em todos os cantos de seu império. Parece estar tendo algum sucesso inicial: a empresa disse na semana passada que o Bing agora tem 100 milhões de usuários ativos diariamente, com um terço deles novos desde que o mecanismo de busca foi relançado com a tecnologia da OpenAI.
Por outro lado, todos os envolvidos no desenvolvimento da IA concordam que a tecnologia apresenta riscos potentes e possivelmente existenciais, tanto conhecidos quanto desconhecidos. Os gigantes da tecnologia têm se esforçado para sinalizar que estão levando esses riscos a sério – a Microsoft sozinha tem três grupos diferentes trabalhando no assunto, mesmo após a eliminação da equipe de ética e sociedade. Mas, considerando o que está em jogo, quaisquer cortes nas equipes focadas no trabalho responsável parecem dignos de nota.
A eliminação da equipe de ética e sociedade ocorreu no momento em que os funcionários restantes do grupo haviam treinado seu foco em seu maior desafio até agora: antecipar o que aconteceria quando a Microsoft lançasse ferramentas baseadas em OpenAI para um público global.
No ano passado, a equipe escreveu um memorando detalhando os riscos da marca associados ao Bing Image Creator, que usa o sistema DALL-E da OpenAI para criar imagens com base em prompts de texto. A ferramenta de imagem foi lançada em alguns países em outubro, tornando-se uma das primeiras colaborações públicas da Microsoft com a OpenAI.
Embora a tecnologia de texto para imagem tenha se mostrado extremamente popular, os pesquisadores da Microsoft previram corretamente que ela também poderia ameaçar a subsistência dos artistas, permitindo que qualquer um copie facilmente seu estilo.
“Ao testar o Bing Image Creator, descobriu-se que com um prompt simples, incluindo apenas o nome do artista e um meio (pintura, impressão, fotografia ou escultura), era quase impossível diferenciar as imagens geradas das obras originais”, escreveram os pesquisadores em o memorando.
“O risco de danos à marca é real e significativo o suficiente para exigir reparação.”
Eles acrescentaram: “O risco de danos à marca, tanto para o artista quanto para suas partes interessadas financeiras, e o PR negativo para a Microsoft resultante de reclamações de artistas e reação negativa do público é real e significativo o suficiente para exigir reparação antes que prejudique a marca da Microsoft”.
Além disso, no ano passado, a OpenAI atualizou seus termos de serviço para dar aos usuários “direitos totais de propriedade sobre as imagens que você cria com o DALL-E”. A mudança deixou a equipe de ética e sociedade da Microsoft preocupada.
“Se um gerador de imagens de IA replica matematicamente imagens de obras, é eticamente suspeito sugerir que a pessoa que enviou a solicitação tem direitos totais de propriedade da imagem resultante”, escreveram eles no memorando.
Os pesquisadores da Microsoft criaram uma lista de estratégias de mitigação, incluindo impedir que os usuários do Bing Image Creator usem os nomes de artistas vivos como prompts e criar um mercado para vender o trabalho de um artista que apareceria se alguém procurasse por seu nome.
Os funcionários dizem que nenhuma dessas estratégias foi implementada, e o Bing Image Creator foi lançado em países de teste de qualquer maneira.
A Microsoft diz que a ferramenta foi modificada antes do lançamento para atender às preocupações levantadas no documento e solicitou trabalho adicional de sua equipe de IA responsável.
Mas as questões legais sobre a tecnologia permanecem sem solução. Em fevereiro de 2023, a Getty Images entrou com uma ação contra Stability AI, fabricantes do gerador de arte AI Stable Diffusion. Getty acusou a startup de IA de usar indevidamente mais de 12 milhões de imagens para treinar seu sistema.
As acusações ecoaram as preocupações levantadas pelos próprios especialistas em ética de IA da Microsoft. “É provável que poucos artistas tenham consentido em permitir que seus trabalhos sejam usados como dados de treinamento, e provavelmente muitos ainda não sabem como a tecnologia generativa permite que variações de imagens online de seus trabalhos sejam produzidas em segundos”, escreveram funcionários no ano passado.
Sobre Anônimo
0 comentários:
Postar um comentário