Métricas de valor em IA: contar atividade não é medir resultado

Seis meses depois da reunião em que ninguém soube dizer quantas soluções de inteligência artificial a rede varejista tinha, a pergunta mudou de dono. Agora era o diretor financeiro, na revisão orçamentária do semestre, e a pergunta era outra: o que nós recebemos por isso?

A sala tinha três tipos de resposta prontos. A primeira era atividade: seis pilotos lançados, adoção de quarenta por cento entre as equipes elegíveis, duas mil horas economizadas no atendimento. A segunda era custo: o gasto consolidado, pela primeira vez, graças ao inventário. A terceira era silêncio, e ela apareceu quando o diretor reformulou: horas economizadas viraram o quê?

Esta peça é sobre a distância entre a primeira resposta e a que ele queria.

Atividade não é resultado

Existe uma escada de três degraus na medição de valor de inteligência artificial, e a maioria das organizações para no primeiro.

O primeiro degrau é atividade: quantos pilotos, quantos usuários, quantas interações, quantas horas. São números fáceis de coletar e agradáveis de apresentar, e não dizem nada sobre valor. Um piloto lançado é um custo, não um resultado. Quarenta por cento de adoção descreve uso, não efeito.

O segundo degrau é eficiência: tempo por tarefa, custo por interação, taxa de resolução sem intervenção humana. Aqui já existe medida de desempenho, mas ela tem um teto conhecido. A Gartner, em pesquisa com executivos financeiros divulgada em 2026, descreve o efeito: casos de uso voltados a produtividade entregam ganho real, mas o valor incremental achata assim que o processo está automatizado. Duas mil horas economizadas são valor apenas quando viram capacidade realocada, custo evitado ou receita nova, e alguém precisa mostrar em qual dos três elas viraram.

O terceiro degrau é resultado de negócio: o indicador que a organização já acompanhava antes da IA e que a IA moveu. Tempo de resolução de uma solicitação, custo por atendimento, taxa de conversão, inadimplência, retenção. É o único degrau que responde à pergunta do diretor financeiro, e é o que a mesma pesquisa da Gartner recomenda quando diz que métricas de sucesso precisam refletir impacto para a empresa, não contagem de atividade, pilotos lançados ou horas economizadas.

Os números do descompasso

O relatório da Gartner com diretores de tecnologia do primeiro semestre de 2026, baseado em cerca de onze mil respondentes, traz três números que, lidos juntos, contam a história. Oitenta e três por cento dos presidentes de empresa estão aumentando o investimento em IA. Cinquenta e nove por cento das iniciativas nunca chegam a produção. E setenta e um por cento dos diretores de tecnologia dizem ter dificuldade de priorizar os casos de uso que produzirão resultado mensurável.

Uma pesquisa separada da mesma consultoria, com 782 líderes de infraestrutura e operações realizada no fim de 2025, encontrou que apenas 28% dos casos de uso de IA atingem plenamente as expectativas de retorno, e 20% falham por completo. A pesquisa global da PwC com presidentes de empresa, publicada em janeiro de 2026 com 4.454 respondentes de 95 países, chegou a um retrato semelhante por outro caminho: 56% relatam nenhum benefício de receita ou de custo com IA até o momento, e apenas 12% relatam benefício nas duas frentes. O estudo do MIT de 2025, com seus 95% de pilotos de IA generativa sem retorno mensurável, fecha o conjunto.

Vale ler esses números com cuidado, porque a leitura fácil é a errada. Não se trata de organizações incompetentes. Medir valor de IA é difícil por razões estruturais: o efeito costuma ser indireto, a atribuição é disputada quando várias coisas mudam ao mesmo tempo, e o comportamento não determinístico do sistema faz o resultado variar mesmo com processo igual. A dificuldade é real. O que não é aceitável é não tentar.

O que os que conseguem fazem diferente

A mesma série de pesquisas da Gartner separou as organizações em dois grupos, e a diferença entre eles é o coração desta peça.

O grupo de alto desempenho faz três coisas. Acompanha o retorno das iniciativas de IA de forma constante, não em revisão anual. Trata a IA como portfólio de valor, com iniciativas que competem por recurso. E avalia regularmente o desempenho de cada projeto para realocar investimento ou encerrar o que não entrega. Esse grupo relata retorno positivo em 81% de suas iniciativas.

O grupo de baixo desempenho relata algo mais revelador do que um número ruim: não sabe qual é a taxa de retorno.

A distância entre os dois não é de tecnologia nem de orçamento. É de disciplina de medição. E a pesquisa com líderes de operações acrescenta uma condição prática: entre os que entregam ao menos um caso de uso bem-sucedido, o sucesso é atribuído principalmente a integrar a IA aos fluxos e sistemas existentes e a ter patrocínio pleno de executivos de negócio. Conectar a IA ao negócio durante a execução, não apenas no planejamento.

Uma métrica tem cinco partes

Boa parte das métricas que fracassam não fracassa por escolha errada de indicador. Fracassa por estar incompleta. Uma métrica de valor de IA que funciona tem cinco partes, e a ausência de qualquer uma delas a inutiliza.

Um objetivo de negócio declarado. A iniciativa existe para mover algo que o plano de negócios já persegue. Se ninguém consegue nomear o objetivo, a iniciativa é experimento, e experimento se mede de outro jeito.

Um indicador com valor atual. Não a meta, o ponto de partida. Quanto vale hoje o tempo médio de resolução, o custo por atendimento, a taxa de conversão. Sem linha de base medida antes de começar, não existe variação a atribuir, e toda conversa posterior vira estimativa.

Uma meta com prazo. O quanto o indicador deve mover e até quando, para que a revisão tenha critério.

Uma fonte de dado. De onde o número vem, com que frequência, produzido por quem. É aqui que a observabilidade, tratada na peça anterior desta série, deixa de ser assunto técnico: a nota de qualidade por interação, o custo por caso de uso e a taxa de escalonamento são a fonte de metade das métricas que importam.

Um dono. A pessoa que lê o número, responde por ele e leva a leitura à revisão de portfólio. Métrica sem dono é painel que ninguém abre.

Quatro famílias, uma cadeia

As métricas de uma iniciativa de IA se organizam em quatro famílias, e a ordem entre elas importa.

Custo mede o que entra: tokens, custo por interação, custo por resultado obtido. É a família que a camada de Inteligência do Impulso já pede que se meça mensalmente, e é a única que a maioria das organizações consegue produzir hoje.

Adoção mede se a iniciativa é usada de fato, não se está disponível: uso real sobre uso possível, retenção de uso ao longo das semanas, e o dado incômodo de quem parou de usar e por quê.

Qualidade mede se o uso produz saída boa: nota de avaliação, taxa de escalonamento para humano, taxa de correção posterior, erro percebido pelo usuário. Vem inteira da observabilidade.

Resultado mede o efeito no indicador de negócio: o terceiro degrau da escada.

As três primeiras famílias são indicadores antecedentes; a quarta é consequente. Custo alto com qualidade baixa antecipa um resultado que não virá. Adoção em queda antecipa que o resultado do trimestre passado não se repetirá. Quem lê apenas a quarta família descobre o problema tarde. Quem lê apenas as três primeiras nunca prova valor. A cadeia precisa das quatro.

Portfólio, não projeto

A mudança de mentalidade que a pesquisa com o grupo de alto desempenho sugere cabe em uma palavra: portfólio. Iniciativas de IA não são projetos que se aprovam e se esquecem; são posições que competem por capital e atenção, com revisão periódica e três desfechos possíveis, manter, redirecionar ou encerrar.

A composição do portfólio também importa. A pesquisa da Gartner com executivos financeiros encontrou que organizações investindo em iniciativas desenhadas para criar propostas de valor, produtos ou mercados novos tinham mais que o dobro de probabilidade de relatar alto valor realizado, em comparação com as concentradas apenas em produtividade. A recomendação não é abandonar eficiência, é equilibrar: manter os ganhos de curto prazo e deslocar, deliberadamente, parte do investimento para casos que melhoram decisão, abrem oportunidade ou constroem ativos reutilizáveis.

Quem acompanha o Impulso reconhece o instrumento. O Radar de Iniciativas, com seus quadrantes de impacto e viabilidade, é exatamente uma ferramenta de portfólio, e a revisão periódica é o que o transforma de fotografia em filme.

O que o Impulso já dizia sobre isso

O bloco cinco do Canvas, preenchido na etapa de Iniciativas, faz a pergunta desta peça antes de qualquer construção: como vamos medir sucesso? A etapa de Resultado exige que o Plano de Ação Inicial traga métrica por fase. E a introdução ao framework propõe um teste que resume tudo: cada iniciativa priorizada tem métrica com valor atual, não apenas meta?

A camada de Inteligência já pede a medição mensal de custo por caso de uso. A peça sobre observabilidade desta série entrega a família de qualidade. O que a capacidade Medir da torre de controle acrescenta é a cadeia inteira, das quatro famílias ao resultado de negócio, e a disciplina de portfólio que faz a leitura virar decisão.

Diagnóstico precisa produzir ação. Medição precisa produzir decisão. É a mesma proposição, um degrau acima.

Como começar em um ciclo

O primeiro passo não é definir a métrica perfeita. É estabelecer a linha de base do que já está rodando, porque sem ela nenhuma métrica futura terá com o que se comparar.

Semana 1, linha de base. Para cada iniciativa do inventário, reconstruir o valor do indicador de negócio antes de ela existir. Para as antigas, a reconstrução é aproximada e precisa ser declarada como tal. Para as novas, a regra passa a ser medir antes de ligar.

Semana 2, cadeia. Ligar cada iniciativa a um único indicador de negócio e a um objetivo do plano. Retirar do relatório à diretoria toda métrica de atividade que não esteja ligada a resultado. O relatório encolhe, e é isso que se quer.

Semana 3, fonte. Conectar a saída da observabilidade às famílias de custo, adoção e qualidade, com dono nomeado para cada métrica. Onde não houver fonte, registrar a lacuna em vez de preencher com estimativa.

Semana 4, revisão. Realizar a primeira revisão de portfólio com as quatro famílias na mesa e três desfechos possíveis. Se nenhuma iniciativa for redirecionada ou encerrada, a revisão não aconteceu; foi apresentação.

Ao fim do ciclo, a organização responde ao diretor financeiro com o terceiro degrau da escada. E tem o insumo da peça final desta série, que trata de governar o ciclo de vida das iniciativas, da entrada à desativação.

Para aprofundar

Esta peça faz parte da série sobre a torre de controle de IA. O estudo de caso que fecha a série, Torre de controle de IA: governar o que já entrou na operação, apresenta o cenário completo e as cinco capacidades. As peças sobre Inventário de IA, Segurança de IA e Observabilidade de IA tratam das capacidades Descobrir, Proteger e Observar, e a peça sobre Estratégia de IA fecha com Governar. A base metodológica está nas etapas de Iniciativas e Resultado do Diagnóstico Estratégico e na camada de Inteligência, e a visão geral do framework está em As três camadas do Impulso Framework.

Horas economizadas não são valor. São a promessa de um valor que ainda precisa ser mostrado.

Começar o diagnóstico · Gratuito, sem cadastro, 15 a 30 minutos.

Foundation | Frente: Consulting | Série: torre de controle de IA, capacidade Medir | Proposições ancoradas: diagnóstico que produz ação, jornada progressiva | Fontes públicas: Gartner, CIO Report 1S 2026; Gartner, pesquisa sobre escala de IA e alto desempenho (2026); Gartner, pesquisa com líderes de infraestrutura e operações (abril de 2026); Gartner, pesquisa com executivos financeiros (2026); PwC, 29ª Pesquisa Global com CEOs (janeiro de 2026); MIT (2025) | 1.820 palavras | Leitura: 9 minutos