A adoção da inteligência artificial tem sido tão acelerada que a maioria das organizações cria e implementa modelos mais rápido do que suas estruturas de governança conseguem acompanhar. Para os diretores de dados, ou CDOs (chief data officers), essa mudança representa um desafio. A IA não se enquadra nos programas tradicionais de governança de dados, nem se comporta de forma suficientemente previsível para que as estruturas de gestão de riscos existentes funcionem de forma eficiente.
Isso ocorre porque a IA introduziu uma nova classe de risco: dinâmica, probabilística e profundamente interligada aos dados. Os modelos mudam junto com os dados. Os resultados variam. As superfícies de ameaça se expandem. Os resultados de uma equipe se tornam os dados de entrada de outra. A responsabilidade se dispersa entre as áreas de dados, segurança, conformidade e engenharia. Essa convergência leva os CDOs para o centro da governança da IA, mesmo que a organização não esteja preparada para isso.
Modelos antigos contam com a previsibilidade
Os marcos de governança tradicionais foram concebidos para sistemas determinísticos. A IA é tudo menos determinística. Um mesmo comando pode gerar resultados diferentes com segundos de diferença. Um conjunto de dados aparentemente benigno pode produzir respostas enviesadas ou inseguras quando combinado a um modelo. Um modelo considerado seguro no mês passado pode se comportar de forma diferente hoje devido a desvios de dados ou a alterações nos demais sistemas envolvidos no ciclo operacional.
Essas realidades criam lacunas difíceis de serem ocupadas pelos marcos antigos:
- O risco não pode ser considerado estável após validado uma vez: a IA exige testes estatísticos repetidos para descobrir modos de falha com baixa frequência mas grande impacto.
- As revisões periódicas são lentas: os ciclos de governança não acompanham a rápida evolução dos modelos e das ameaças.
- A responsabilidade é difusa: a IA afeta simultaneamente os dados, a segurança, a conformidade e a engenharia, o que torna impossível uma governança de função única.
- Os controles tradicionais não detectam os riscos específicos da IA: problemas de enviesamento, alucinações, vazamentos, manipulação e baixa rastreabilidade dos dados não são suficientemente abordados pelos controles de segurança convencionais.
O risco associado à IA tem origem nos dados, evolui continuamente e se manifesta por meio das interações dos usuários. Isso coloca os CDOs em uma posição única (e esperada) para liderar um modelo modernizado de governança.
Risco de IA = risco de dados
As organizações que têm sucesso com a IA são aquelas que repensam a governança desde o início. Para os CDOs, isso significa ir além de práticas altamente concentradas na conformidade e na documentação, buscando um programa contínuo, automatizado e diretamente incorporado aos fluxos de trabalho de desenvolvimento.
Três mudanças são essenciais:
- A governança deve ser orientada pela telemetria e não por listas de verificação.
O monitoramento de desvios, enviesamentos, vazamentos e padrões anormais deve ser contínuo. A classificação automatizada dos riscos substitui as avaliações estáticas. - As equipes de engenharia e de ciência de dados devem operar com um foco consciente nos riscos.
A governança não pode ser uma reflexão tardia. Ela deve ser integrada à forma como as equipes desenvolvem, testam e implementam modelos desde o início. - A linhagem e a proveniência dos dados devem se tornar controles centrais de segurança.
Compreender de onde os dados vêm, como se movem e como influenciam o comportamento dos modelos é essencial para a segurança da IA. Os CDOs já têm essas capacidades. Agora, precisam expandi-las para a IA.
Construção da IA confiável
Para criar programas de governança que aceleram a inovação, os CDOs podem estabelecer comitês de governança multifuncionais, definir taxonomias compartilhadas, elevar as práticas de linhagem e implementar ferramentas que automatizam as avaliações de impacto e os fluxos de trabalho de gestão de riscos.
Se a automação e a colaboração estiverem integradas ao núcleo da governança, é possível acompanhar o ritmo da IA.
A governança moderna da IA não se baseia em restrições aos negócios. Trata-se de possibilitar a adoção responsável em escala. Os líderes que tiverem essa capacidade definirão a forma como suas organizações competirão na era da IA.
Para se aprofundar nas deficiências das estruturas tradicionais e obter um roteiro prático de 90 dias para criar um programa de governança pronto para a IA, baixe o eBook completo.
