Shadow AI: as empresas lutam para controlar o uso não autorizado de novas ferramentas

A cadeia de varejo multinacional em que Katie Smith trabalhou em análise de dados e finanças por seis anos estava tão preocupada em controlar as atividades on -line dos funcionários que bloqueou o acesso a todos os sites generativos de inteligência artificial e bloqueados no YouTube.

Então Smith tomou o assunto em suas próprias mãos. Ela usou uma conta de bate-papo pessoal para ajudar na redação de e-mails de trabalho, ajustou-os usando o Assistente de Redação em Inglês da Grammarly Inc. e aproveitou os recursos da IA ​​da plataforma de design gráfico da Canva Inc. para ajudar nas apresentações. “O varejo nunca foi um inovador de tecnologia”, disse ela.

No início do mês passado, Smith trocou de emprego, tornando -se um gerente de estratégia de dados e dados de uma grande empresa de consultoria que ela pediu para não se identificar. A experiência tem sido como noite e dia.

“O que eles permitem é incrível”, disse Smith. “Somos muito pró-AI. Damos aos funcionários acesso a copilotes e muitos outros recursos no ecossistema de IA. ”

A experiência de Smith ilustra o fenômeno de “Shadow AI” ou o uso de ferramentas de IA por funcionários sem a bênção ou conhecimento da organização de tecnologia da informação. Por muitas contas, a IA generativa já é amplamente utilizada na maioria das organizações, independentemente de ser permitido ou não.

Um recente enquete Por Prompt Security Inc. descobriu que as organizações usam uma média de 67 ferramentas de IA, com 90% sem a aprovação do Departamento de Tecnologia da Informação. Cap Gemini SA relatado que mais de 60% dos desenvolvedores de software que usam IA generativa o fazem não oficialmente.

O fenômeno não é novo. As pessoas têm trazido tecnologia pela porta dos fundos desde que os PCs foram introduzidos na década de 1980, em um fenômeno conhecido como Shadow It. Redes de área local, email, Internet, software como serviço e smartphones estavam todos em uso generalizado antes que as organizações de TI instituíram políticas ao seu redor.

Mas a IA é um pouco diferente. Diferentemente do software de produtividade e da Internet, que manipulam e armazenam principalmente dados, os modelos de IA podem incorporar informações que os usuários fornecem em seus dados de treinamento. Isso cria o risco de divulgação de dados inadvertidos, riscos de privacidade e vulnerabilidades de segurança. Os desenvolvedores de software que usam IA para melhorar a qualidade de seu código podem alimentar sem querer a propriedade intelectual de uma empresa no modelo de treinamento, que é O que aconteceu em Samsung Electronics Co. Ltd. há dois anos.

Como um humano

As pessoas também interagem com a IA de maneira diferente dos serviços tradicionais de TI. As qualidades humanas da IA ​​generativa têm maior probabilidade de atrair os usuários a relacionamentos ou influenciar seu comportamento. Diferentemente do software tradicional, que fornece com segurança os mesmos saídas em resposta às mesmas entradas, as ferramentas generativas de IA são propensas a excursões criativas, alucinações e erros.

“Se não souber a resposta, pode mentir para você ou inventar coisas”, disse Doug Kersten, diretor de segurança da informação da Appfire Technologies LLC, fabricante do software de produtividade do grupo. “Shadow It no passado era alguém que fazia contabilização no Excel e você não sabia disso. Com a IA, existem questões legais, de governança e regulamentares. ”

A conscientização é a criação da necessidade de as empresas colocarem o Guardrails no lugar. Cerca de 12.000 pessoas foram o programa de treinamento de governança da AI da Associação Internacional de Profissionais de Privacidade, disse Ashley Casovan, diretora administrativa do Centro de Governança da AI da associação. “É a maior adoção de um programa de governança de IA até o momento”, disse ela.

Políticas opacas

A IA generativa lavou a cena tão rapidamente que muitas organizações não conseguiram formular ou aplicar políticas claras em seu uso. Um recente enquete Na Unily Group Ltd. descobriu que apenas 14% dos funcionários acreditam que a política de sua organização sobre o uso da IA ​​é “muito clara” e 39% disseram que acham fácil usar ferramentas não aprovadas. Um em cada cinco disse que definitivamente ou possivelmente inseriu informações confidenciais em uma ferramenta de IA não autorizada.

Shahriyari: Commercial LLM, do defensor da realidade, os provedores “podem não treinar os dados, mas eles ainda o têm”. Foto: Defensor da Realidade

As organizações de TI enfrentam um enigma na regulação do uso da IA. Embora serviços baseados na Web como ChatGPT da OpenAI LLC e Claude da PBC antropal sejam fáceis de monitorar e bloquear, a maioria dos modelos generativos de IA agora está incorporada em software comercial como copilotes ou assistentes. Testemunha Inc.o fabricante de software que regula o uso de IA nas empresas, compilou um banco de dados de cerca de 3.000 aplicativos. Em algumas estimativas, o número pode chegar a 12.000, com centenas mais adicionadas a cada mês.

“Eles estão se expandindo e aprimorando tão rapidamente que, mesmo quando você pensa que o tem sob controle, descobre que não”, disse Kersten, da Appfire.

Os maiores desenvolvedores de modelos comerciais de grandes idiomas tornaram-se mais transparentes ao longo do tempo sobre suas práticas de treinamento e colheita de dados, com a maioria das promessas a não incorporar dados fornecidos pelo usuário em seus modelos de treinamento. “Acho que podemos confiar nos mainstream”, disse Ali Shahriyari, co-fundador e diretor de tecnologia da empresa de detecção de Deepfake, Reality Defender Inc.

Quem tem os dados?

Mas essas empresas não estão a salvo de violações de dados, e suas políticas para reter os dados de suprimento de usuário geralmente são obscuras, mesmo que não o usem para treinar seus modelos. “Eles podem não treinar os dados, mas ainda o têm”, disse Shahriyari. “Quem sabe se eles estão salvando ou não?”

A maior preocupação são as centenas de pequenas empresas que surgiram para oferecer serviços generativos baseados em IA que produzem vídeos, auxiliam em campanhas de marketing, geram currículos e automatizam outras tarefas especializadas. Suas políticas de uso de dados podem não estar claras ou os usuários não se preocupam em lê -los.

“Se você não está pagando por um serviço, você provavelmente é o serviço”, disse Casey Corcoran, diretora de segurança da informação da Stratascale, o nome comercial da Shi International Corp.

O SAS’s Upchurch: “Não gostamos de estar no negócio de bloquear. Meu pensamento é matar com bondade. ” Foto: Siliconangle

As organizações estão seguindo uma variedade de medidas, desde proibir o uso de IA até o fornecimento de programas de treinamento e esperando que os funcionários tomem boas decisões. No mínimo, “as organizações precisam começar com uma política clara de uso aceitável incorporado em manuais de funcionários e assinado por funcionários e contratados”, disse Morey Haber, consultora de segurança da empresa de identidade e acesso à empresa de segurança BeyondTrust Corp. “Em seguida, os departamentos de TI precisam estabelecer controles de tecnologia para o monitoramento e uso da AI em sistemas corporativos, incluindo o bloqueio de AI, os domínios e os controles tecnológicos e os controles de tecnologia.

Muitas empresas proibiu o uso de chatgpt nos primeiros dias da IA ​​generativa, e alguns, particularmente agências governamentais e empresas de indústrias regulamentadas, ainda o fazem. A experiência anterior em Shadow TI, no entanto, mostrou que negar a tecnologia dos funcionários à tecnologia que aumenta a produtividade pode causar mais mal do que bem.

“O bloqueio de tudo fará com que os usuários se rebelem”, disse Colin McCarthy, diretor de transformação digital do fornecedor de serviços gerenciados em nuvem Promevo LLC.

Ferramentas essenciais

A Pesquisa da UNILY constatou que 54% dos trabalhadores do conhecimento corporativo disseram que deixariam seu emprego se sua administração tirasse o que consideram as ferramentas essenciais de software. “Você vai perder talento”, disse Smith. “Eles vão usar a AI das sombras ou irmos para outro lugar.”

Uma prática mais comum em empresas com forças de trabalho altamente educadas e experientes em tecnologia é a adotada pela SAS Institute Inc. A empresa de análise de software estabeleceu uma prática de ética de dados em 2021 e possui um comitê de supervisão que gerencia políticas.

A empresa mantém uma lista de ferramentas aprovadas e promete julgar rapidamente as solicitações dos funcionários para adicionar novos. O SAS bloqueia um punhado de serviços de IA generativos, principalmente profundamente, mas incentiva a experimentação.

“Não gostamos de estar no negócio de bloquear”, disse o diretor de informações Jay Upchurch. “Tentamos acompanhar as pessoas sem diminuí -las. Meu pensamento é matar com bondade. ”

O SAS adotou uma abordagem disciplinada para a adoção de novas ferramentas. Quando a Copilot da Microsoft Corp. estreou, a organização de TI recrutou 300 usuários de voluntários para testar e comentar suas experiências com o assistente digital. As melhorias médias de produtividade relatadas de cerca de 40 minutos por semana.

“Isso criou interesse viral”, disse Upchurch. “Tivemos muito sucesso e demanda, então fomos a 600 usuários nos primeiros meses”.

O zagueiro da Reality confia da mesma forma que seus funcionários seguem as diretrizes com uma “política estrita de não tolerância” para ferramentas que não atendem aos padrões. Shahriyari disse. “Até agora, não tivemos que tomar nenhuma ação drástica, pois nossa equipe está alinhada com o uso de ferramentas de IA dentro de determinados parâmetros”, disse ele.

O Appfire criou um comitê de direção nos primeiros dias da IA ​​generativa porque, disse Kersten: “Se não o fizer, verá imediatamente todos usando diferentes formas de IA de maneiras que você não espera, tentando transformá -lo em produtos de maneira a criar responsabilidade”.

A empresa bloqueia alguns sites considerados de alto risco e assumiram uma licença CHATGPT corporativa para uso interno. Caso contrário, Kersten disse: “Confiamos muito na política e na comunicação de que, se você quiser comprar qualquer coisa relacionada à IA, precisará passar por um processo para aprová-lo”.

As ferramentas podem ajudar

Startups e associações estão entrando na violação. O IAPP administra uma governança de IA Programa de certificação e é Hospedando conferências Sobre o assunto em maio e setembro.

Spencer da testemunha: A maioria dos CISOs está “interessada em saber o que os usuários estão fazendo”. Foto: Testemunha

Os profissionais disseram que uma mistura de ferramentas de software para proteção contra perda de dados, controle de acesso à nuvem e filtragem na web podem ajudar no monitoramento da atividade da IA ​​da sombra. Plataformas de governança de IA dedicadas também estão surgindo, incluindo Credo.ai Corp.Assim, SurePath AI Inc.Assim, Guardrails AI Inc. e Liminal AI Inc.

A Testemunha rastreia o acesso dos funcionários a aplicativos de IA internos e externos e cria um catálogo de todas as atividades, incluindo instruções e respostas. Ele classifica as conversas para riscos e intenção e aplica políticas que mapeiam para práticas de uso aceitável corporativo. Ele também afirma evitar injeções imediatas e garantir que os pedidos de IA aprovados se comportem adequadamente.

O diretor de tecnologia Gil Spencer disse que os diretores de segurança da informação estão menos interessados ​​em bloquear os aplicativos de IA do que entender como são usados. “Quando começamos, pensávamos que as pessoas estavam preocupadas com ataques de IA”, disse ele. “O que descobrimos é que os CISOs estavam mais interessados ​​em saber o que os usuários estavam fazendo”.

Por fim, é provável que a AI Shadow AI faça o mesmo curso que as tecnologias de sombra que vieram antes dela. Dado que o Gartner Inc. projetos Que 80% dos fornecedores independentes de software terão incorporados recursos generativos de IA em seus aplicativos corporativos até 2026, é tarde demais para fechar as comportas.

“Os riscos iniciais da AI das sombras são reais, mas seu valor os superará, levando a adoção estruturada, não rejeição”, disse Douglas McKee, diretor executivo de pesquisa de ameaças da Sonicwall Inc.

Smith concordou. “As pessoas que entenderam o quão impactante a IA é educada”, disse ela sobre colegas da cadeia de varejo. “Eles o usarão porque querem ser mais produtivos”.

Imagem: Siliconangle/Dall-e