De quem é a culpa quando a culpa é da IA?

Toda vez que um sistema quebra feio, a reunião seguinte tem a mesma pergunta pairando no ar. Ninguém diz em voz alta, mas todo mundo está pensando: quem fez isso?

Nos últimos dois anos apareceu uma resposta nova, e ela é confortável demais: “foi a IA”.

Eu tenho um problema com essa resposta. Ela encerra a conversa exatamente onde a conversa deveria começar.

Os três erros que a gente já sabia tratar

Antes da IA, incidente em produção cabia em três caixas.

O erro humano. Alguém rodou o comando errado no servidor errado. Tem nome, tem hora, tem log. Foi justamente por isso que a cultura de postmortem sem culpado apareceu: a gente descobriu que punir o coitado que apertou o botão não impedia o próximo de apertar. O problema não era ele. Era o botão estar ali, do jeito que estava.

O bug. O código fez exatamente o que estava escrito, e o que estava escrito estava errado. Aqui a culpa já nasce difusa: tem quem escreveu, quem revisou e o teste que nunca existiu. É culpa do processo, e a gente aprendeu a tratar assim.

A parametrização. Essa é a minha favorita, porque é a mais silenciosa de todas. Ninguém errou uma linha de código. Alguém digitou 30 onde era 3. O sistema funcionou perfeitamente, fazendo a coisa errada, com precisão de relógio.

Repare no que os três têm em comum: existe um fio para puxar. Você puxa e chega em algum lugar.

O que muda quando quem erra é a IA

Aí entra a IA e ela consegue a proeza de parecer com os três ao mesmo tempo, sem oferecer o rastro de nenhum.

Parece erro humano, porque escreve em português, entende contexto, toma decisão e ainda explica o raciocínio. Só que não tem intenção, não lembra do que foi combinado semana passada e não vai responder por nada.

Parece bug, porque é software. Só que bug se reproduz, mesma entrada, mesma saída, sempre. É exatamente isso que permite corrigir. Com um modelo, a mesma entrada devolve uma coisa hoje e outra amanhã. Não dá para consertar o que não dá para reproduzir.

Parece parametrização, porque tem temperatura, prompt, versão de modelo, janela de contexto. Só que mexer no parâmetro não explica o resultado. Você ajusta e torce.

E é aqui que mora o paradoxo que me incomoda: quanto mais a IA parece gente, mais dá vontade de tratá-la como gente. Só que gente responde por erro justamente por ter as três coisas que ela não tem: intenção, memória do que foi acordado e consequência. Ahh, e boletos para pagar, não esqueçamos desse.

Culpa serve para quê, afinal?

Vale parar um minuto nessa pergunta, porque é ela que resolve a discussão.

Culpa não é vingança. Culpa é uma tecnologia social, e existe para fazer três coisas:

1. Reparar o dano de quem foi prejudicado.
2. Achar a causa, para o erro não se repetir.
3. Criar incentivo para as pessoas terem cuidado da próxima vez.

Agora teste a IA contra as três. Ela não repara nada: não tem patrimônio, não tem boletos pra pagar, não tem contrato, não tem seguro. Ela não aprende com bronca, o modelo não muda porque você ficou bravo com ele no chat. E incentivo, obviamente, ela não sente.

Ou seja: culpar a IA não cumpre NENHUMA das três funções. É culpa jogada num buraco. Serve para exatamente uma coisa, aliviar quem está na sala naquele momento.

Já tem tribunal respondendo isso

Em fevereiro de 2024, a Air Canada perdeu uma ação porque o chatbot do site prometeu a um passageiro um desconto que não existia. A defesa da companhia foi, sem exagero nenhum, alegar que o chatbot era “uma entidade legal separada, responsável pelos próprios atos”.

O tribunal não engoliu. Respondeu que o chatbot era parte do site, e que a empresa responde pelo que está no próprio site, seja conteúdo estático, seja resposta gerada por IA.

Foram cerca de 650 dólares canadenses. Valor irrisório, tese valiosa: você não se separa da ferramenta que colocou no ar.

Link da matéria: https://www.bbc.com/travel/article/20240222-air-canada-chatbot-misinformation-what-travellers-should-know

No Brasil isso nem chega a ser novidade jurídica. O Código de Defesa do Consumidor já trata a responsabilidade do fornecedor de forma objetiva e não pergunta se quem atendeu era humano.

Então de quem é a culpa?

SE A CULPA É MINHA E EU COLOCO EM QUEM QUISER! kkkkkkkcry, sacanagem…

De quem assinou embaixo. E assinar embaixo tem camadas:

• Quem decidiu colocar em produção. É essa decisão que cria o risco. Não é do estagiário.
• Quem definiu o escopo de autonomia — o que a máquina resolve sozinha e o que precisa de gente aprovando.
• Quem revisou. Ou quem decidiu que não precisava revisar, o que também é uma decisão.
• Quem mediu. Ou não mediu, e por isso descobriu o problema pelo cliente.
• O fornecedor, no que estiver no contrato. E vale ler o contrato, porque quase sempre não está.

Ferramenta não tem culpa. Ferramenta tem dono!

O risco de verdade

Meu medo não é a IA errar. Ela vai errar, isso já está no preço.

Meu medo é “foi a IA” virar o novo “foi o sistema”. A gente conviveu vinte anos com essa frase e sabe exatamente onde ela dá: em problema que ninguém conserta, porque ninguém assume. A diferença é que agora a desculpa vem com cara de inovação e slide bonito.

Para quem lidera time, o recado é seco: automação sem dono é problema com data marcada. Toda coisa que roda sozinha na sua operação precisa ter o nome de uma pessoa do lado. Não de uma equipe. Não de uma área. Uma pessoa.

E quando der ruim, postmortem sem culpado continua valendo. Sem culpado, sim. Sem dono, nunca.