Como escolher uma consultoria de IA: 12 perguntas para fazer antes de assinar

Quem pesquisa como escolher consultoria de IA costuma chegar com três ou quatro propostas na mesa, todas com slides parecidos e preços diferentes. O critério não está nos slides. Está nas respostas que a consultoria dá a perguntas específicas sobre produção, propriedade, regulação e medição. São doze perguntas. As respostas separam quem já operou sistema de IA em empresa como a sua de quem só fez demo.

Este checklist é o que recomendamos a qualquer empresa antes de assinar, inclusive quando a proposta é nossa. A página de consultoria de IA da LA AI descreve como respondemos cada uma delas. Aqui, o objetivo é que você saiba o que perguntar e o que uma boa resposta contém.

Como escolher consultoria de IA: o critério por trás das doze perguntas

As perguntas se agrupam em quatro temas. Produção: a consultoria já colocou modelo para rodar com volume real, ou só entregou prova de conceito? Propriedade: quem fica com o código, os dados e os prompts? Regulação: como lidam com LGPD, BACEN, ANS e auditoria? Medição: como sabem se funcionou e quando param? Se uma proposta falha em um tema inteiro, o preço não compensa.

Quem já colocou modelo em produção, não só prova de conceito

A distância entre uma demo e um sistema em produção é onde a maioria dos projetos de IA morre. Já escrevemos sobre por que as provas de conceito não chegam a produção, e a causa raramente é técnica. Por isso as três primeiras perguntas são sobre operação, não sobre modelo.

1. Mostre um sistema seu rodando hoje. Quem opera?

Não peça case em slide. Peça para ver um sistema em uso, com alguém que o opera no dia a dia. A resposta boa vem com nome do processo, volume mensal, quem está de plantão e o que acontece quando dá errado. A resposta ruim é um vídeo gravado ou uma lista de logotipos.

2. Qual foi a taxa de erro nos últimos três meses e como ela é medida?

Quem opera sistema de IA mede erro continuamente e sabe o número de cabeça. Quem não opera diz “muito baixa” ou “depende”. Aceite qualquer número, desde que venha com o método de medição. É o método que mostra maturidade, não o número.

3. O que aconteceu quando o fornecedor do modelo mudou de versão?

Modelos são atualizados e o comportamento muda. Quem já passou por isso conta a história: o que quebrou, como detectou, quanto tempo levou para ajustar. Quem nunca operou não tem história para contar, e isso é a resposta.

Quem fica com o código, os dados e os prompts

Uma consultoria pode entregar capacidade ou criar dependência. A diferença está no contrato, e três perguntas resolvem a questão antes da assinatura.

4. Ao final, o código, os prompts e os conjuntos de avaliação são nossos?

A resposta precisa ser sim, por escrito, sem cláusula de licença que vença. Prompts e conjuntos de avaliação são o ativo mais valioso do projeto, porque codificam o que a empresa aprendeu sobre o próprio processo. Consultoria que retém prompts está vendendo a chave da sua casa de volta para você todo mês.

5. Nossos dados saem do nosso perímetro? Para onde?

A resposta boa é um diagrama: quais dados, para qual fornecedor, em qual região, com qual contrato de tratamento, por quanto tempo. A resposta ruim é “usamos os melhores provedores de nuvem”. Em setor regulado, essa resposta precisa passar pelo seu jurídico e pela sua segurança antes do início, não depois.

6. A solução depende de plataforma própria da consultoria?

Algumas consultorias entregam sobre uma plataforma que só elas mantêm. Isso não é errado em si, mas precisa estar claro: o que acontece se o contrato terminar, quanto custa a licença depois, se o código exportado roda fora da plataforma. Se a resposta for evasiva, o preço da proposta não é o preço real.

Como lidam com LGPD, BACEN, ANS e auditoria

Em banco, seguradora ou operadora de saúde, o sistema de IA vai ser questionado por auditoria interna, por regulador ou pelo titular do dado. A consultoria precisa ter passado por isso antes.

7. Como cada decisão do sistema fica rastreável para auditoria?

Uma decisão automatizada precisa ter registro de entrada, versão do modelo, prompt usado, saída e quem a revisou, se alguém revisou. A resposta boa descreve esse registro e onde ele fica armazenado. A resposta ruim confunde log de aplicação com trilha de auditoria.

8. Qual é a base legal para o tratamento e quem produz o relatório de impacto?

Sob a LGPD, tratar dado pessoal com IA exige base legal definida e, em muitos casos, relatório de impacto. A consultoria não precisa ser escritório de advocacia, mas precisa saber que essa etapa existe, colocá-la no cronograma e trazer o material técnico que o jurídico vai precisar.

9. Já responderam a questionamento de regulador ou de auditoria sobre um sistema de IA?

Quem já respondeu sabe o que o BACEN, a ANS ou a SUSEP perguntam e desenha o sistema para responder antes. Quem nunca respondeu descobre no meio do projeto que faltam controles, e isso vira aditivo.

Como medem resultado e quando param

Projeto de IA sem métrica combinada antes de começar não tem como dar certo, porque não tem como saber se deu.

10. Qual é a métrica, qual é a linha de base e quem mede?

A resposta boa define uma métrica de negócio, mede a linha de base antes de construir e combina quem mede depois. Se a consultoria propõe medir o próprio resultado sem envolver o dono do processo, o número final vai ser bonito e ninguém vai acreditar nele.

11. Em que condição vocês recomendam parar o projeto?

Uma consultoria séria tem critério de parada: custo unitário acima do limite, erro que não converge, dado que não sustenta o caso. Quem nunca parou um projeto ou nunca mediu direito, ou nunca disse ao cliente que o caso não fechava. Nenhuma das duas hipóteses é boa.

12. O que acontece depois da entrega?

Quem opera, com que apoio, por quanto tempo e a que custo. A resposta boa inclui um período de operação assistida e um plano de transferência para o time interno. A resposta ruim é “entregamos e vocês seguem”, porque modelo degrada e alguém precisa perceber.

Sinais de alerta na proposta

Além das respostas, a própria proposta diz muito. Estes sinais, isolados, não desqualificam. Dois ou três juntos, sim.

• O critério de conclusão é uma apresentação, uma demo ou um “piloto”, sem volume real definido.
• As integrações não estão listadas uma a uma.
• Não há estimativa de custo de inferência com o volume real.
• A revisão de jurídico e segurança aparece como responsabilidade exclusiva do cliente, fora do cronograma.
• A proposta promete percentual de ganho antes de qualquer diagnóstico.
• A única recomendação de tecnologia é o produto que a consultoria revende.
• Não há cláusula de propriedade de código, prompts e avaliações.
• Não há critério de aceite escrito com métrica e limite de erro.

Como escolher consultoria de IA se resume, no fim, a verificar se a proposta e as respostas contam a mesma história. A tabela abaixo condensa o que tranquiliza e o que preocupa em cada tema.

Perguntas frequentes

É melhor uma consultoria grande ou uma especializada?

Depende de quem vai estar no seu projeto, não do logotipo. Consultorias grandes têm processo e escala; o risco é receber um time júnior com um sócio que aparece na reunião de abertura. Especializadas têm profundidade em um tipo de problema; o risco é capacidade limitada. Faça as doze perguntas para as pessoas que vão executar, não para quem vende.

Consultoria que revende ferramenta de IA é um problema?

Não necessariamente, desde que a recomendação seja justificada contra alternativas e que o custo da licença esteja explícito. Vira problema quando toda recomendação termina no mesmo produto, independente do caso. Peça para a consultoria descrever um cenário em que ela não recomendaria a própria ferramenta.

Quantas propostas devo comparar?

Duas ou três, normalizadas pelo mesmo escopo. Mais que isso costuma gerar comparação de preço entre coisas diferentes. O esforço maior deve ir para as perguntas, não para a quantidade de fornecedores.

E se a consultoria se recusar a entregar os prompts?

Trate como cláusula de bloqueio. Prompts e conjuntos de avaliação são o conhecimento do seu processo em forma de texto. Sem eles, trocar de fornecedor significa recomeçar. Se a consultoria insiste, o preço da proposta precisa incluir o custo dessa dependência, e ele raramente compensa.

Se quiser fazer essas doze perguntas para nós, a página sobre a LA AI mostra quem responde e o que já colocamos em produção. Uma conversa de 30 minutos costuma ser suficiente para saber se há encaixe.