A inteligência artificial tem se tornado cada vez mais integrada em nosso dia-a-dia, nos guiando pela cidade, realizando traduções de idiomas e até sugerindo filmes. Enquanto isso, governantes estão cada vez mais interessados em aplicar esse conhecimento para melhorar a infraestrutura, segurança e para poder aprender cada vez mais sobre sua cidade. Entre as técnicas de IA utilizadas, estão os algoritmos black box, que, embora úteis, não são transparentes. Com foco em assertividade e não interpretabilidade, modelos black box podem resultar em danos não previstos. Aqui o desafio é reconhecer que, apesar disso, a predição e interpretabilidade são complementos e não substitutos.

Segundo Davide Castelvecchi, em seu artigo Can we open the black box of AI?, decifrar o black box tem se tornado cada vez mais difícil e urgente, pois tanto a sua complexidade quanto suas aplicações aumentaram drasticamente nos últimos anos. E isso vale, especialmente, para deep learning, técnica na qual alguns pesquisadores acreditam que, eventualmente, computadores poderão até mesmo mostrar imaginação, criatividade. O artigo questiona até que ponto as pessoas estariam dispostas a confiar no deep learning, já que seus fatores de tomada de decisão não são claros. Mesmo que uma rede neural tenha uma alta taxa de sucesso no diagnóstico de câncer de mama, é grande o dilema para uma mulher entre realizar o tratamento preventivo ou não, pois diferente de um médico, a rede não expõe claramente o seu processo de decisão. Um time da Universidade de Wyoming concluiu que, por meio ruídos aleatórios ou de padrões geométricos abstratos, é possível enganar um modelo treinado. Podemos imaginar um cenário onde veículos autônomos são enganados, ou um sensor biométrico pode dar acesso à pessoa errada. No mais, transparência é crítica para aplicações em ciência e em algumas aplicações comerciais, como em instituições financeiras que tem a obrigação legal justificar a negação de um empréstimo. Apesar das desvantagens, os pesquisadores citados nesse artigo argumentam que respostas complexas dadas por aprendizado de máquina devem fazer parte do seu ferramental de ciência, pois o mundo é complexo assim como diversos problemas. Castelvecchi também levanta que apesar de técnicas transparentes funcionarem bem em problemas descritos como um conjunto de fatos abstratos, podem não funcionar tão bem em tarefas de percepção.

Em seu artigo, In Defense of Black Box, Elizabeth Holm afirma que pesquisadores em AI focam menos em defender sistemas black box e mais em tentar entender como tais sistemas tomam decisões. E isso é explicado, pois o objetivo dos cientistas e a responsabilidade dos engenheiros é não apenas prever o que vai acontecer, mas também entender o que se ocorre. Em uma pesquisa informal dos colegas em ciências físicas e engenharia da autora, a maior razão para não se usar deep learning é não saber como interpretar seus resultados. Órgãos governamentais também estão preocupados em garantir informação sobre a lógica envolvida na tomada de decisões automatizadas. Mas, segundo a autora, essa rejeição aos métodos black box pode ser apressada. Assim como aceitamos conclusões humanas sem entender completamente suas origens, a autora afirma que é razoável considerar casos adequados para aceitar e aplicar sistemas black box. O primeiro caso levantado é quando o custo do erro é baixo em relação ao custo do acerto. Por exemplo, na publicidade segmentada, onde o custo de enviar um anúncio não desejado é muito baixo em relação ao benefício de um anúncio bem sucedido. O segundo caso onde black box deveria ser utilizado, é quando o sistema produz melhores resultados. Por exemplo, no campo de leitura de imagens médicas. Sistemas de IA treinados melhoram o performance de radiologias detectarem câncer. Embora o custo de um falso positivo, ou pior, um falso negativo ser alto, ainda assim, é a melhor solução disponível. A autora ressalta que esses argumentos não devem ser interpretados como uma licença para aplicar livremente o black box. Presume-se que o black box seja operado por um usuário capaz de computar custos e definir os melhores resultados inequivocadamente e que, ambos os casos, podem conter armadilhas, como vieses e aberturas para serem enganados. O terceiro e último caso, é sobre o uso do black box como ferramenta de inspiração e orientação em pesquisas. Por exemplo, o artigo cita um sistema para diagnosticar retinopatia diabética que identificou características associadas com a retina que ninguém havia notado antes, como por exemplo gênero. Isso abriu um campo de pesquisa de diferenças de retinas humanas baseado em gênero. Holm afirma que não podemos usar black box para encontrar causalidade ou entendimento por enquanto, mas enquanto isso vale aceitar o black box dentro do que a abordagem se propõe.

Ambos os artigos mostram que a IA tem se tornado onipresente tanto na indústria quanto na pesquisa. Enquanto Castelvecchi destaca diversos riscos no uso de IA black box, Holm evidencia casos que podem ser beneficiados por tais sistemas. Porém, vemos a preocupação dos autores em relação às armadilhas ocultas e possíveis danos que podem ser causados quando aplicamos black box, nos alertando que tais ferramentas devem ser utilizadas com cautela. E, apesar de Castelvecchi nos mostrar diversos problemas, ele cita que cientistas devem abraçar o deep learning, o que vem na mesma direção das afirmações de Holm. Há um entendimento que pesquisas devem ser feitas para tornar o aprendizado de máquina mais inteligente e robusto. Holm lembra que aceitar black box pode contribuir substancialmente para produzir ciência, tecnologia, engenharia, matemática, otimização e em inspirações, e, reforçada por Castelvecchi vemos que os esforços para criar IA transparente devem ser complementares e não substituições ao black box.

Acredito que qualquer sistema de tomada de decisão deve ser usado com cautela e responsabilidade. Devemos conhecer suas limitações e armadilhas para operá-los com segurança e não prejudicar alguém ou um grupo de pessoas. Esforços para tornar a IA transparente e com ótimos resultados como os obtidos com deep learning são válidos, mas, enquanto isso, nós devemos ter mais clareza de quando uma IA deve ser interpretável ou não. Assim, pesquisadores poderão ter mais tempo para investigar problemas que pedem mais atenção, principalmente os presentes em sistemas implantados que já afetam a vida da população. E legisladores não criarão obstáculos desnecessários à tecnologia. Deste modo, continuaremos aproveitando tanto sistemas black box quanto sistemas transparentes, que podem melhorar cada vez mais a vida de todos cidadãos.