Possível, sim. Desejável?

Guilherme Cintra reflete sobre os limites éticos do uso de IA para compreender alunos e defende que capacidade técnica não substitua a decisão humana

Recentemente, durante uma palestra, recebi uma pergunta que me fez refletir sobre o tipo de dilema que enfrentamos na era da inteligência artificial. A pergunta era aparentemente simples: é possível usar reconhecimento facial e IA para apoiar professores na formação socioemocional dos alunos?

Só que nessa pergunta, existem camadas. Em um mundo onde cada vez menos barreiras técnicas existem para agir, é necessário reforçarmos nossas barreiras éticas e morais para tomada de decisões. Precisamos ainda refletir continuamente sobre os riscos: tanto os de agir quanto os de não agir. 

Munidos de tais barreiras e reflexões, precisamos responder, sempre, duas perguntas fundamentais: a óbvia é se é possível. Mas ela não basta sozinha: também é preciso perguntar se é desejável.

No caso em questão, tecnicamente, é bem provável que, se não hoje, em breve tenhamos tecnologias capazes de inferir estados emocionais e apoiar o professor nessa relação com alunos. Já temos reconhecimento facial. Se um sistema numa sala com trinta alunos consegue diferenciar cada um deles, mapear expressões e cruzar isso com histórico de notas, frequência e anotações, ele chega perto de fazer algo que nenhum adulto sozinho conseguiria com a turma inteira ao mesmo tempo. 

Suponhamos que essas tecnologias infiram o estado emocional de um aluno com mais fidelidade que um humano. Isso significa que deveríamos usá-las?

_________________________

Uma criança machuca um colega, e o educador pede que ela escreva um pedido de desculpas como atividade formativa. Uma inteligência artificial faria esse ato tecnicamente melhor do que uma criança de nove anos, com quase toda certeza. O texto sairia mais bem escrito, mais completo, talvez até mais sensível. E ainda assim o objetivo não seria alcançado, porque o objetivo está no que a criança sente enquanto escreve e na reflexão sobre o que ela fez. A superioridade técnica existe. Mas a delegação não serve ao propósito.

Uma experiência pessoal, com uma tecnologia muito mais primitiva, reforça a relevância do discernimento entre o que se pode e o que se deve. Quando cheguei como diretor de uma escola, encontrei uma cultura de pouca interação com os alunos. Espalhadas pelo prédio, câmeras de segurança. Um padrão tinha se estabelecido: depois de uma briga ou de uma discussão, a coordenação ia às imagens, identificava quem tinha feito o quê, e punia. Existindo uma tecnologia que permitia olhar e entender o que havia acontecido, agia-se depois do fato. Prevenção não era o foco.

Enquanto eu começava a estabelecer uma cultura de atendimento e diálogo com os alunos, fui surpreendido por um corte de custos que retirou parte das câmeras. Elas foram consideradas desnecessárias para a função original, de segurança. Quando os equipamentos saíram, a coordenação acabou por perder o recurso ao qual sempre voltava.

O que aconteceu na prática foi que o atendimento aos alunos melhorou muito. Ao longo dos meses eu tinha começado a formar minha equipe melhor para atender a comunidade escolar. Agora, a prevenção era a única ação disponível. A equipe tinha que praticar.

A câmera nunca proibiu ninguém de conversar com um aluno. Ela apenas tornava a conversa opcional. Em uma escola sobrecarregada o que é opcional deixa de acontecer.

Em termos técnicos, éramos capazes de vigiar os alunos o tempo todo. Só que aquilo não era desejável. Retirada a capacidade, por outros motivos, fomos empurrados a promover diálogos que antes não estavam acontecendo. Em determinados contextos o uso de câmeras pode ser necessário. Porém ali, o uso mínimo para segurança foi o que permitiu uma prevenção baseada em diálogo.

__________________

As câmeras já apresentavam questões problemáticas. Ainda assim, há uma diferença importante entre elas e o que é proposto pela pergunta que originou essa reflexão. 

A câmera registrava atos concretos bem demarcados. O aluno tinha feito alguma coisa, e houve um momento em que ele poderia agir diferente. Uma tecnologia que lê expressão facial registra o que a pessoa nem teve a opção de escolher emitir.

E é aí que está, para mim, o ponto mais incômodo. Um aluno pode estudar de outro jeito e mudar a própria nota. Ele não tem ação disponível para mudar como se sente. Passa a ser cobrado por algo sobre o que não tem alavanca nenhuma, e a única saída que resta é simular o estado esperado.

Some a isso a continuidade. Quando a coleta é ininterrupta, não existe momento de repouso. Tudo o que o aluno faz sem querer vira avaliação, o tempo todo. Ele está num ambiente de assimetria de poder, cercado por adultos, onde nem escolheu estar, afinal a lei determina que ele esteja em uma escola. A escola deixa de ser um espaço de liberdade para tornar-se um espaço de vigilância constante.

Não é isso que queremos ensinar. Um aluno nessas condições aprende muito mais a esconder como se sente e a aceitar ser vigiado do que a construir uma relação na qual ele pode e deve recorrer a um adulto ou a um colega. Um dos papéis fundamentais da escola em minha percepção é precisamente apoiar o aluno a criar esses laços e confiança, navegando relações.

Do outro lado, algo parecido acontece com o professor. Perceber como os alunos estão é uma capacidade que se constrói por repetição e por erro, ao longo de anos de convivência. Um professor que tem um painel lendo por ele não desenvolve esse olho. É a mesma lógica da Fricção Cognitiva Ótima sobre a qual venho escrevendo aqui, agora aplicada à relação e não ao conteúdo. Terceirizar é legítimo quando a tarefa é meio. Deixa de ser quando executar a tarefa é o objetivo formativo.

Nenhum professor consegue acompanhar trinta alunos com profundidade, sem dúvidas. Mas existem dados bem menos invasivos, gerados em espaços onde o aluno age de forma consciente. Notas, frequência, registros de conversas intencionais com educadores. Um aluno com padrão estável de notas que cai de oito para seis é uma informação que a escola já tem, e que pode apontar para um adulto que está na hora de uma conversa. Bem geridos, esses dados dão à comunidade escolar o que ela precisa para promover bons diálogos, sem substituir a escuta.

__________________

Voltando à pergunta da palestra, alguns princípios me parecem claros.

O primeiro é, como já sinalizei, a Fricção Cognitiva Ótima. A tecnologia não pode assumir a função do aluno de buscar se expressar, nem a do professor de buscar entender como os alunos se sentem, nem a de coordenadores e gestores de promover os diálogos que fazem essas informações circularem.

O segundo é que qualquer uso de tecnologia ligado a compreender como um aluno se sente precisa levar em conta a assimetria de poder do ambiente e o fato de que determinados usos são invasivos porque o aluno não é capaz de deixar de emitir aquela informação. Monitoramento contínuo sobre questões que ele não controla ensina exatamente a lição errada.

O terceiro tem a ver com onde a informação aterrissa. Um sistema que aponta para um adulto e diz que vale conversar com determinado aluno alimenta a relação. Um sistema que lê o estado do aluno e age sobre ele por conta própria ocupa o lugar da relação. O desenho precisa estimular comportamentos pró-sociais em vez de resolver sozinho.

Toda vez que nos deparamos com tecnologias cada vez mais poderosas, vale lembrar de fazer as duas perguntas. Se essas tecnologias são capazes, e se desejamos que assumam determinadas funções. Sem dividir a pergunta inicial em duas, terminamos no mundo do inevitável, onde a capacidade técnica supera sempre a nossa capacidade de decidir com intenção como inserimos tecnologia nas nossas vidas.