Prévia do material em texto

Inteligência Artificial
Aplicações e Desafios
ITS RIO
OBLIQ LIVROS
RIO DE JANEIRO
Inteligência Artificial — Aplicações e desafios, por ITS Rio, está protegido com a seguinte licença: Creative
Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).
Texto revisto pelo Acordo Ortográfico de 1990.
Produção editorial
Obliq Livros
Preparação dos originais
ITS Rio
eISBN: 978-85-65404-29-7
Obliq Edição e Produção Ltda.
E-mail: comercial@obliq.com.br
http://obliq.com.br
Para citação:
BRANCO, Sérgio; MAGRANI, Eduardo (Coords.). Inteligência Artificial: Aplicações e desafios. Rio de Janeiro:
Instituto de Tecnologia e Sociedade do Rio de Janeiro; ITS/Obliq, 2022.
https://creativecommons.org/licenses/by-nc-nd/4.0/
Sumário
Apresentação
1. Reposicionando a interação humano-computador: “profiling” e discriminação
algorítimica para além da inclusão — Maru Arvigo
2. Automação e o futuro do trabalho: Elementos de um roteiro estratégico para a
educação e a formação profissional — Ana Paula Camelo e Cláudio Lucena
3. Inteligência artificial e big data: o processamento de dados como instrumento de
uma inclusão sócio digital — Camila Maria de Moura Vilela
4. Responsabilidade civil e inteligência artificial: quem responde pelos danos
causados por robôs inteligentes? — Christine Albiani
5. A inteligência artificial e o ecossistema financeiro — Fernanda Borghetti Cantali
6. Inteligência artificial, self-driving cars, e suas consequências jurídicas em caso de
acidentes — Gregório Soria Henriques
7. Accountability de algoritmos: a falácia do acesso ao código e caminhos para uma
explicabilidade efetiva — Isabela Ferrari
8. Softwares de tomada de decisão e poder público: estudo de casos e efeitos
regulatórios — Carlos Eduardo Rabelo Mourão e Davi Teofilo Nunes Oliveira
9. Artificial intelligence in government: creating a framework for transparency and
accountability — Laura Nathalie Hernández Rivera
10. Inteligência artificial e o direito autoral: o domínio público em perspectiva —
Luca Schirru
11. Qualificação profissional face aos sistemas produtivos da Quarta Revolução
Industrial — Marco Brandão
12. New perspectives on ethics and the laws of artificial intelligence — Eduardo
Magrani
13. Inteligência artificial: riscos para direitos humanos e possíveis ações — Paula
Gorzoni
14. Crowdsourcing e machine learning - uma revisão sistemática com discussão do
uso para a participação pública dos cidadãos — Ricardo Mendes Jr.
Apresentação
A inteligência artificial impulsiona cada vez mais o desenvolvimento de tecnologias
e de negócios mundialmente. Com ela, dispositivos inteligentes e robôs vêm sendo
aplicados para as mais variadas finalidades e nos mais diversos setores, como o
financeiro, da saúde, de seguros, da propriedade intelectual e automobilístico,
impondo grandes desafios para os criadores e consumidores de aplicações
tecnológicas.
O intenso uso de algoritmos, inteligência artificial e big data traz uma série de
facilidades e otimiza processos, contudo questões relacionadas à segurança dessas
tecnologias e aos tratamentos de dados realizados precisam ser mais bem
discutidas, de forma plural e multissetorial.
Pergunta-se: como analisar essas questões diante do cenário regulatório
brasileiro? Nossa estratégia brasileira de inteligência artificial hoje é satisfatória
para abordar a temática e sua complexidade? É necessário estabelecer um marco
regulatório para a IA? Quais são as principais questões relativas à segurança, ética e
bem-estar dos seres humanos quando tratamos de dispositivos inteligentes e
robôs?
As questões acima foram amplamente discutidas em nosso grupo de pesquisa
sobre inteligência artificial, sendo a presente obra resultado desse importante e
sério debate. O conteúdo específico de cada artigo não reflete necessariamente a
opinião institucional do ITS, ou de qualquer de seus membros, representando livre
expressão de seu autor acerca da temática.
Os grupos de pesquisa do ITS são projetos anuais cujos participantes são
selecionados por meio de edital público. Podem participar pesquisadores de
qualquer lugar do mundo, uma vez que os encontros são todos ao vivo e online. Até
o momento, já foram desenvolvidos grupos sobre privacidade e proteção de dados;
cidades inteligentes; moderação de conteúdo em plataformas; metaverso; e, claro,
inteligência artificial. Os frutos desses trabalhos encontram-se em varandas e em
publicações, as quais podem ser acessadas em nossos canais e site:
https://itsrio.org/pt/home/ .
O ITS é um centro de pesquisa multidisciplinar totalmente independente, que
trabalha em parceria com diversas instituições brasileiras e estrangeiras, em temas
voltados à proteção dos direitos humanos e à aplicação da tecnologia em nossa
sociedade. Suas atividades apresentam quatro áreas principais: direito e tecnologia;
democracia e tecnologia; inovação e tecnologia; e educação.
Acreditamos na importância da difusão e do acesso ao conhecimento, por essa
razão o presente livro encontra-se disponível de forma gratuita e sob a licença
Creative Commons Attribution-NonCommercial-NoDerivatives 4.0
https://itsrio.org/pt/home
International (CC BY-NC-ND 4.0).
Esperamos que, nos próximos anos, mais temas sejam acrescidos e que possamos
continuar com a nossa missão de promover debates e conteúdos de alto nível sobre
questões de interesse público relacionadas à tecnologia e aos desafios que ela nos
impõe.
Rio de Janeiro, 25 de abril de 2022
Os coordenadores[1] [2]
1. Sérgio Branco é Cofundador e diretor do Instituto de Tecnologia e
Sociedade do Rio de Janeiro (ITS Rio). Doutor e Mestre em Direito
Civil pela Universidade do Estado do Rio de Janeiro (UERJ).
Especialista em propriedade intelectual pela Pontifícia Universidade
Católica do Rio de Janeiro – PUC-Rio. Pós-graduado em cinema
documentário pela FGV Rio. Graduado em Direito UERJ. Sócio de
Rennó Penteado Sampaio Advogados. ↵
2. Eduardo Magrani é Doutor em Direito, afiliado ao Berkman Klein
Center na Universidade de Harvard e Pós-Doutor pela Universidade
Técnica de Munique (TUM) em Proteção de Dados e Inteligência
Artificial. Sócio do Demarest Advogados, nas áreas de "Propriedade
Intelectual" e "Privacidade, Tecnologia e Cybersegurança". Consultor
Sênior na área de TMT do CCA Law Firm em Portugal. Eduardo é
Presidente do Instituto Nacional de Proteção de Dados no Brasil.
Autor de diversos livros e artigos na área de Direito e Tecnologia,
entre eles, a "Coleção de Cultura Digital", composta pelos livros
"Democracia Conectada", "A Internet das Coisas", "Entre Dados e
Robôs" e "Vida em Rede". ↵
https://creativecommons.org/licenses/by-nc-nd/4.0/deed.pt
1. Reposicionando a interação humano-
computador: “profiling” e discriminação
algorítimica para além da inclusão
Maru Arvigo[1]
“If we use machine learning models to replicate the world as it is today,
we’re not actually going to make social progress.”
Fala de Meredith Broussard no documentário “Coded Bias”
(Dirigido por Shalini Kantayya; 7th Empire Media)
Resumo: Este artigo tem como pretensão principal mapear três debates teóricos
sobre inteligência artificial e inclusão: (i) a criação de perfis de comportamento
online (“profiling”) por meio de algoritmos de inteligência artificial que, se
reduzidos às linhas de código, são construídos sobre equações matemáticas,
destacando-se certos aspectos de sua natureza, (ii) a manutenção de um perfil
homogêneo de atores nos espaços de criação e tomada de decisão a respeito dos
mecanismos tecnológicos, e (iii) a importância do estímulo ao pensamento crítico
nos desenvolvedores envolvidos na modelagem e manipulação de tais informações.
Observa-se, de um lado, que a técnica de “profiling” utiliza algoritmos de
inteligência artificial para encontrar padrões de comportamento entre usuários da
rede, o que, pela natureza matemática dos modelos embutidos em IA, levantam
questionamentos sobre justiça, igualdade e discriminação algorítmica. Por outro
lado, observa-se que algoritmos são criações humanas e, como tal,são um reflexo
do comportamento humano. Neste campo, são pautadas preocupações
relacionadas a se de fato mecanismos tecnológicos são neutros ou, pelo contrário,
abrigam visões (e determinam pontos cegos) daqueles que desenvolvem o código
em si e participam do processo criativo e decisório a respeito dos mecanismos
tecnológicos. Por isso, a inclusão de grupos sub-representados é essencial. Em uma
terceira e introdutória discussão, levanta-se o debate sobre a centralidade do
componente humano na interação humano-computador para além da diversidade,
visto que autores apontam que seria necessário, além de uma composição mais
diversa das equipes responsáveis pelo design dos algoritmos, também a capacitação
dos operadores na difícil tarefa de traduzirem valores humanos para o código.
Neste cenário, este artigo propõe que endereçar as questões éticas subjacentes ao
debate teórico sobre modelos, tomadas de decisão automatizadas e “profiling” é
paradoxal e desafiador, porém essencial para que a tecnologia alcance seu potencial
emancipatório.
Introdução: conceitos e aspectos essenciais sobre
inteligência artificial
Abaixo os principais termos técnicos e conceitos empregados pela literatura
acadêmica nos temas transversais à inteligência[2] artificial são dispostos com maior
detalhamento para a melhor compreensão e fluidez dos próximos tópicos, nos quais
a interlocução entre autores e a relação entre conceitos é mais profunda.
Algoritmo é uma sequência finita de instruções bem definidas e não ambíguas,
cujas características são: finitude (de passos, tempo e recursos), exatidão (clareza e
precisão), e efetividade. Neste sentido, quanto maior a complexidade da tarefa a ser
realizada, maior deve ser o detalhamento das instruções a fim de evitar
ambiguidade. Também vale citar a concepção de Letouzé (2015, apud Cetic.br, 2018):
“Na ciência da computação, um algoritmo é uma série de instruções ou
regras predefinidas, escritas em uma linguagem de programação destinada
para dizer a um computador como resolver sequencialmente um problema
recorrente, especialmente ao envolver a realização de cálculos e o
processamento de dados. Há um crescente uso de algoritmos para fins de
tomada de decisão em uma progressiva gama de atividades e indústrias, tais
como policiamento e serviços bancários”.
Para fins deste artigo, adota-se a concepção de Schermer (2011), para quem
inteligência artificial é o conceito usado para descrever sistemas computacionais
que são capazes de aprender a partir de suas próprias experiências e resolver
problemas complexos em diferentes situações – habilidades que anteriormente
pensamos ser únicas em seres humanos[3]. Trata-se, também, de um termo guarda-
chuva que engloba diversos tipos de “machine learning” (“aprendizado de máquina”),
que pode ser definido como “um conjunto de técnicas e mecanismos que permite
que computadores ‘pensem’ ao criar algoritmos matemáticos baseados em dados
acumulados”.
Aprendizado de máquina, por outro lado, engloba o conceito de “deep learning”
(“aprendizado profundo”), considerando-se que alguns tipos de aprendizado
profundo são criados com os mesmos princípios de redes neurais do cérebro e
geralmente são baseados em um conjunto conhecido de “training data” (“dados de
treinamento”) que auxilia os algoritmos de autoaprendizado a desenvolver uma
tarefa. Também fazendo referência a Letouzé (2015, apud Cetic.br, 2018):
“[aprendizado de máquina] refere-se à construção e estudo de algoritmos
computacionais – procedimentos, passo a passo, para cálculos e/ou
classificação – que podem aprender a crescer e mudar quando expostos a
novos dados. Representa a capacidade das máquinas de ‘aprender’ a fazer
previsões e tomar decisões melhores com base em experiências passadas,
como na filtragem de spam, por exemplo”.
Sistemas construídos sobre algoritmos de aprendizado de máquina desenvolvem
modelos, termo que designa um programa computacional relacionado a uma
finalidade analítica determinada pelas instruções contidas em seu código. Quando
falamos de modelos, a capacidade de entender (ou, sob a ótica dos desenvolvedores
do código, de explicar) como os “outputs” (“resultados”) foram produzidos a partir
dos “inputs” (“dados de entrada”) varia de acordo com a complexidade do modelo
em si. Vale mencionar, não sem motivo, que é possível expressar modelos como
equações matemáticas, se reduzidos às linhas de código.
Ainda que seja possível elencar uma grande variedade de métodos, abordagens e
modelos[4], o de maior interesse para este artigo diz respeito às “neural networks”
(“redes neurais”), conforme explicitado abaixo.
Redes neurais são construídas sobre uma metodologia que é em muito inspirada
pelo nosso entendimento da forma como o cérebro funciona. Tais redes são
estruturadas sobre componentes individuais denominados “perceptron” que, se
engatilhados uns aos outros, podem criar redes grandes e complexas. Note-se que
“perceptron” é um modelo matemático que recebe “inputs” (“dados de entrada”) e
produz uma única saída binária (“output”) de acordo com os pesos atribuídos a cada
um dos dados de entrada[5].
Em outras palavras, cada variável tem um peso que determina o quanto a
característica presente no “input” (“dado de entrada”) respectivo influenciará no
“output” (“resultado”) final. Uma rede neural consiste em três partes, na seguinte
ordem: “input layer” (“camada de entrada”), “hidden layer” (“camada oculta”), e
“output layer” (“camada de saída”). Se há mais de um “hidden layer” (“camada
oculta”), então o “machine learning” (“aprendizado de máquina”) é considerado um
“deep learning” (“aprendizado profundo”). Na perspectiva estrita de redes neurais,
por outro lado, a presença de mais de uma camada oculta entre a camada de
entrada e a camada de saída caracteriza uma rede neural como “deep neural
network” (“rede neural profunda”).
Um dos desafios das redes neurais é que, da forma como descritas acima, cada
“input” (“dado de entrada”) é visto de forma isolada. Ocorre que, em muitas
situações, trabalha-se com informações que têm um contexto. Algumas palavras,
por exemplo, possuem um significado diferente a depender do contexto em que
estão inseridas, e este contexto nem sempre é expresso pela mesma sentença. É
também por isso que algumas redes neurais possuem a forma de uma memória de
curto tempo (“short-term memory”). Isso tanto permite diferentes “outputs”
(“resultados”) baseados nos “inputs” (“dados de entrada”) inseridos previamente,
quanto significa que pode ser muito difícil simplesmente examinar os algoritmos
para entender como eles funcionam e quais decisões eles tomam.
Disso decorre que as capacidades de aprendizagem e de tomada de decisão das
redes neurais estão relacionadas ao que Pasquale (2015) conceitua como “black box”
(“caixa preta”) devido à obscuridade de seu processo decisório[6]. No mais, a
literatura acadêmica também trata sistemas de aprendizado de máquina, em
especial de aprendizado profundo, como sendo, na maior parte dos casos, quase
impossíveis de terem seu caminho lógico refeito para entender o porquê de uma
operação (ROBERTO, 2020).
Note-se também que, nas palavras de Cathy O’Neil, modelos matemáticos, por
sua natureza, são baseados no passado e nas suposições de que os padrões se
repetirão (O’NEIL, 2016, p. 38, tradução nossa)[7]. A autora ainda afirma (2016, p. 20-
21):
“There would always be mistakes, however, because models are, by their
nature, simplifications. […] Inevitably, some important information gets left
out. […] To create a model, then, we make choices about what’s important
enough to include, simplifying the world into a toy version that can be easily
understood and from which we can infer important facts and actions. […] A
model’s blind spots reflect the judgements and priorities of its creators.”
Conforme será exposto a seguir, a “codificação do passado” e o aspecto decisório
(ou os “blind spots” fundados nas crenças do cientista de dados que escreve as
linhas de código) pode representar uma ameaça ao potencial emancipatórioda
tecnologia.
Profiling: representando indivíduos em grupos com base em
padrões de comportamento fundados em estatísticas
O que é “profiling”?
De acordo com a literatura acadêmica, a técnica de “profiling” pode ser definida
como:
“Profiling is the process of discovering correlations between data in
databases that can be used to identify and represent a human or nonhuman
subject (individual or group) and/or the application of profiles (sets of
correlated data) to individuate and represent a subject or to identify a
subject as a member of a group or category”[8].
Desde táticas antiterrorismo[9], passando por microdirecionamento[10] e
impulsionamento de conteúdo em época eleitoral[11], credit scoring até chegar à
publicidade comportamental[12], a técnica de perfilhamento[13] está tão presente em
nosso cotidiano quanto os documentários sobre os “perigos ocultos” e “efeitos
nocivos” de algoritmos de redes sociais. As mensagens de “este site utiliza
cookies[14]–[15] e tecnologias semelhantes para otimizar sua experiência de
navegação” ou similares, exibidas a cada nova janela aberta em um navegador web
(e que se tornaram mais frequentes ainda após a entrada em vigor da Lei Geral de
Proteção de Dados Pessoais em setembro de 2020) denunciam: estamos sendo
“perfilhados”.
Os riscos associados à técnica de “profiling”: uma crítica ao “viés” de privacidade no
olhar sobre “profiling”
Conforme aponta Schermer (2011), há atualmente uma supervalorização dos
riscos associados entre a técnica de “profiling” e a privacidade dos usuários da rede.
O excesso de enfoque dado a esta perspectiva de análise acaba ofuscando outros
riscos que a criação de perfis de comportamento online e a mineração de dados[16]
podem representar para grupos e indivíduos. Para o autor, os riscos mais
significativos associados à criação de perfis e à mineração de dados são:
1. Discriminação: A classificação e divisão estão no centro da mineração de dados,
sobretudo a preditiva. Como tal, a discriminação (em sua acepção relativa à
“capacidade de distinguir”) é parte integrante da criação de perfis de
comportamento online e da mineração de dados. No entanto, há situações em
que a discriminação é considerada antiética e ilegal[17].
2. Desindividualização: Em muitos casos, a mineração de dados é, em grande parte,
relacionada à classificação e, portanto, há o risco de que as pessoas sejam
julgadas com base nas características do grupo e não em suas próprias
características individuais. Os perfis de grupo geralmente contêm estatísticas e,
portanto, as características dos perfis de grupo podem ser válidas para o grupo e
para indivíduos como membros desse grupo, embora não para indivíduos como
tal.
3. Assimetrias de informação: A mineração de dados pode levar a informações
valiosas para as organizações que lançam mão desse artifício. Quando este
mecanismo visa obter mais informações sobre indivíduos ou grupos,
encontramos o problema da assimetria informacional, o que gera um
desequilíbrio de poder entre as partes.
A questão sobre a qual este artigo se debruça é o primeiro problema listado por
Schermer, sem, no entanto, desprezar os riscos associados às demais problemáticas
levantadas pelo autor.
Uma proposta conceitual sobre “profiling”: as três camadas de dados dos perfis de
comportamento na Internet
Szymielewicz (2019) defende a tese, com a qual este artigo está alinhado, de que a
identidade digital dos usuários da rede possui três camadas, das quais é possível
proteger, a priori, somente uma. A autora discorre que as camadas que compõem
os perfis são[18]:
1. O que você compartilha: Trata-se dos dados que você escolhe compartilhar nas
redes sociais e aplicativos móveis. Em tradução autorizada por Szymielewicz[19],
diz-se que “[são] dados que você alimenta em mídias sociais e aplicativos móveis.
Isso inclui o que você revelou em suas informações de perfil, suas postagens
públicas e mensagens privadas, curtidas, consultas de pesquisa, fotos enviadas,
testes e enquetes que você realizou, eventos que participou, sites visitados e
outros tipos de interações conscientes”.
2. O que seu comportamento diz aos algoritmos (padrão de comportamento): São
os dados cuja contextualização permite aos algoritmos correlacionarem
metadados e, a partir deles, criar padrões do seu comportamento na rede e fora
dela.
3. O que a máquina pensa sobre você (inferências e categorizações em perfis de
grupo): É a análise preditiva que relaciona seu comportamento a padrões
(principalmente de consumo) que você não imagina – pelo menos não
conscientemente – por meio da correlação do seu padrão comportamental ao de
um grupo com comportamento parecido e cujo “match” é estatisticamente alto.
Logo, as chances de você pertencer àquele grupo (ou seja, responder da mesma
forma aos mesmos estímulos) é – frise-se, do ponto de vista estatístico – muito
alta. Em outras palavras, trata-se da inferência de conclusões sobre seus dados –
sejam eles compartilhados (in)voluntariamente por você (primeira camada),
sejam eles o rastreamento de padrões sobre o qual você não tem escolha
(segunda camada).
A literatura acadêmica sobre discriminação algorítmica e sua intersecção com
práticas baseadas em “profiling” e decisões automatizadas demonstram que
decisões auturiais, ou estatísticas, a respeito de seres humanos não só são comuns
em qualquer sistema jurídico e indispensáveis, como também alegadamente têm
sob si uma racionalidade econômica – como formulam Mendes e Mattiuzzo (2019, p.
50): “Em outras palavras, agentes oferecem opiniões sobre outros indivíduos
baseadas em características observáveis, as quais, por sua vez, são utilizadas como
substitutas de outras características não observáveis”. As autoras elencam quatro
tipos de discriminação algorítmica[20]: discriminação por erro estatístico;
discriminação por generalização; discriminação por uso de informações sensíveis; e
discriminação limitadora do exercício de direitos.
Há que se examinar, neste sentido, que a automação e a generalização enquanto
conceitos isolados e descontextualizados podem não ser considerados nocivos. É o
que parece ter concluído o legislador pátrio ao determinar a redação do princípio
da não discriminação consagrado no art. 6º, IX da Lei Geral de Proteção de Dados
Pessoais (Lei 13.709, de 14 de agosto de 2019), visto que a proibição ao tratamento
de dados pessoais é restrita a finalidades discriminatórias “ilícitas” (a exemplo do
que dispõe o art. 11, § 5º da Lei) ou “abusivas”, conforme delimitado acima.
A ausência de diversidade no perfil dos atores nos espaços
de criação e tomada de decisão dos mecanismos
tecnológicos
Algoritmos são criações humanas, afinal – e as implicações de times pouco diversos
sobre tomadas de decisão automatizadas
Neste tópico, será tratada a sub-representação de minorias no ecossistema da
tecnologia, sobretudo nos espaços próprios para a criação e tomada de decisão a
respeito de diretrizes de desenvolvimento da tecnologia na sociedade
contemporânea. Conforme discorre Saboya (2013):
“Segundo pesquisas realizadas por essa mesma autora (ROSSITER, 1982,
1995, 2003), os preconceitos se revelam na alocação de postos de trabalho:
delegam-se às mulheres tarefas repetitivas e consideradas femininas, como
por exemplo, as que demandariam qualificações específicas – expressão
essa que seria um eufemismo para tarefas repetitivas e consequentemente
mal pagas – que exigiriam maior cuidado e atenção (como as relacionadas ao
posto de auxiliar nos laboratórios) e que, por conseguinte, deixariam as
mulheres fora dos círculos de decisão; em outras palavras, atividades que as
impossibilitariam de subir na carreira acompanhando seus colegas homens.
Além disso, as mulheres fariam carreiras mais longas, demorando-se mais
que os homens nos diferentes níveis, em razão de casamento e/ou filhos, o
que lhes exigiria uma dupla jornada de trabalho”[21].
Dito isso, importante pontuar que os mecanismos tecnológicos incorporam pelas
linhas de código um certo olhar e entendimento de mundo própriodo cientista de
dados responsável pela modelagem e manipulação das informações a seu dispor, o
que nos recorda o aspecto decisório de quais pontos cegos (ou os “blind spots”)
serão deixados para trás em determinada circunstância. Reitere-se, portanto: a
simplificação do mundo transcrita no aspecto decisório de um modelo matemático
embutido em um algoritmo de aprendizado de máquina pode representar uma
ameaça ao potencial emancipatório da tecnologia.
Desde a seleção de quais dados são relevantes para que se direcione o alvo do
mecanismo, passando pelo dimensionamento do valor (“peso”) dado aos diferentes
dados coletados (“inputs” ou “dados de entrada”) e pelas inferências de padrão
possíveis a partir de tais dados, até chegar à tomada de decisão em si, o algoritmo
não passa de um arquétipo idealizado por um ser humano.
Nas palavras da publicação “Panorama Setorial da Internet” (Ano 10, N. 2) do
Cetic.br:
“Algoritmos são um reflexo do comportamento humano; até quando não
expressos explicitamente, certos vieses presentes nos dados e nas decisões
de projeto podem ser influentes no comportamento do sistema. Por isso, em
alguns casos, decisões baseadas em algoritmos podem reproduzir ou
reforçar um viés negativo, com padrões de discriminação e manutenção de
estereótipos, como herança de decisões preconceituosas de pessoas ou
simplesmente pelos dados refletirem aspectos culturais, históricos e socio-
demográficos existentes na sociedade”[22].
O que em um primeiro momento pode parecer pouco factível agrega em um só caso
os quatro apontamentos mais importantes levantados pela Casa Branca[23] sobre a
escolha de alguns dados de entrada em detrimento de outros no desenho de uma
rede neural treinada por inteligência artificial. São eles:
1. Dados mal selecionados, em que os projetistas do sistema algorítmico decidem
que certos dados são importantes para a decisão, mas não para outros. No
exemplo da “rota mais rápida”, o arquiteto do sistema pode incluir apenas
informações sobre estradas, mas não sobre horários de transporte público ou
rotas de bicicleta, o que prejudica indivíduos que não possuem um veículo. Tais
questões podem ser consideradas como erros qualitativos, em que as escolhas
humanas na seleção de certos conjuntos de dados como entradas algorítmicas
sobre outras são mal aconselhadas. Escolhas descuidadas de entrada podem
levar a resultados tendenciosos – no exemplo da “rota mais rápida”, resultados
que podem favorecer rotas para carros, desencorajar o uso do transporte público
e criar desertos em trânsito. De forma semelhante, os projetistas podem
selecionar dados com muita ou pouca granularidade, resultando em efeitos
potencialmente discriminatórios.
2. Dados incompletos, incorretos ou desatualizados, em que pode haver falta de
rigor técnico e abrangência na coleta de dados, ou onde inexatidões ou lacunas
podem existir nos dados coletados. No exemplo da “rota mais rápida”, isso
poderia ocorrer se, por exemplo, o sistema algorítmico não atualizasse as
programações de ônibus ou trem regularmente. Mesmo que o sistema funcione
perfeitamente em outros aspectos, as instruções resultantes podem
desencorajar novamente o uso do transporte público e prejudicar aqueles que
não têm alternativas viáveis, como muitos passageiros e residentes de baixa
renda.
3. “Bias”[24] (“viés”) de seleção, por meio do qual o conjunto de entradas de dados
para um modelo não é representativo de uma população e, portanto, resulta em
conclusões que podem favorecer determinados grupos em detrimento de outros.
No exemplo da “rota mais rápida”, se os dados de velocidade forem coletados
apenas dos indivíduos que possuem smartphones, os resultados do sistema
podem ser mais precisos para populações mais ricas com concentrações mais
altas de telefones inteligentes e menos precisos nas áreas mais pobres onde as
concentrações de smartphones são mais baixas.
4. Perpetuação não intencional e promoção de “bias” (“vieses”) históricos[25], em que
um loop de feedback faz com que o “bias” nas entradas ou nos resultados do
passado se replique nas saídas de um sistema algorítmico. Por exemplo, quando
as empresas enfatizam a “contratação por fit cultural” em suas práticas de
emprego, elas podem inadvertidamente perpetuar os padrões de contratação
passados se a cultura atual do local de trabalho for baseada principalmente em
um conjunto específico e restrito de experiências. Em um local de trabalho
ocupado principalmente por homens brancos jovens, por exemplo, um sistema
algorítmico projetado principalmente para contratar por cultura (sem levar em
conta outras metas de contratação, como diversidade de experiência e
perspectiva) pode recomendar desproporcionalmente contratar mais homens
brancos porque eles pontuam melhor em se encaixar com a cultura.
A síntese das problemáticas listadas acima é condensada no documentário “Coded
Bias”, que reflete as preocupações mais recentes sobre proteção de direitos civis
contra vigilância e discriminação baseada em algoritmos com vieses. De quebra, a
produção conta com a estimulante participação de pesquisadoras conceituadas na
intersecção entre ética, inteligência artificial e discriminação – Joy Buolamwini,
Cathy O’Neil, Safiya Noble e Timnit Gebru. O filme é um primado da documentação
artística por conciliar conceitos científicos complexos e o cotidiano e realidade de
usuários da Internet, o que tem um alto potencial de impacto.
Assim, como herança de decisões discriminatórias de pessoas ou simplesmente
pelos dados refletirem aspectos culturais, históricos e sóciodemográficos
existentes na sociedade (Cetic.br, 2018), é importante que haja a expansão de
iniciativas de inclusão e diversidade nos setores público e privado para que o perfil
dos atores envolvidos no processo criativo e decisório sobre mecanismos
tecnológicos abranja grupos sub-representados no ecossistema da tecnologia, pois
estes são os principais afetados pela perpetuação dos preconceitos estruturais da
sociedade contemporânea.
Para além da composição dos times do ecossistema de
tecnologia – um breve apontamento sobre a importância do
pensamento crítico nas carreiras de TICs
Contudo, iniciativas de inclusão e ampliação da diversidade no ambiente
corporativo (sobretudo em espaços criativos e decisórios) não são o suficiente para
endereçar os tópicos levantados ao longo do artigo. Conforme pontuam autores
como Sorelle Friedler (apud Sara Wachter-Boettcher, 2017, p. 136), Cathy O’Neil
(2016, p. 155; 204) e Mendes e Mattiuzzo (2019, p. 60), a redução dos vieses[26]
presente nos modelos tecnológicos tem no componente humano seu aspecto
central[27].
Neste sentido, as pessoas que lidam diretamente com as linhas de código dos
modelos (isto é, os próprios “modelers”, os cientistas de dados em si) deveriam ser
capacitados a pensar de forma crítica sobre os dados que estão manipulando, as
escolhas que estão fazendo, os efeitos do uso daquele mecanismo no mundo real e,
talvez mais importante, os aspectos éticos e morais de seu próprio processo de
tomada de decisão.
Nessa esteira, o ensinamento de Cathy O’Neil (2016, p. 218) é basilar:
“Predictive models are, increasingly, the tools we will be relying on to run
our institutions, deploy our resources, and manage our lives. But as I’ve
tried to show throughout this book [Weapons of Math Destruction: How Big
Data Increases Inequality and Threatens Democracy], these models are
constructed not just from data but from the choices we make about which
data to pay attention to – and which to leave out. Those choices are not just
about logistics, profits, and efficiency. They are fundamentally moral.
If we back away from them and treat mathematical models as a neutral
and inevitable force, like the weather or the tides, we abdicate our
responsibility.”
Conclusão
Este artigo teve como objetivo mapear os debates teóricos sobre inteligência
artificial e inclusão, dando ênfase a um possível e paradoxal reposicionamento da
interação humano-computador.
De um lado, a técnica de “profiling” possuiriscos associados principalmente a
discriminação algorítmica, visto que modelos matemáticos embutidos em sistemas
de inteligência artificial operam à base de padrão, correlação e predição, para então
relacionar um perfil individual ao de um grupo de acordo com estatísticas. Contudo,
conforme demonstrado ao longo do texto, automação e generalização não são
conceitos que, isolados e descontextualizados devem ser considerados nocivos,
mas sim quando o tratamento de dados pessoais for realizado com finalidade
“ilícita” ou “abusiva”.
Por outro, percebe-se que algoritmos são arquétipos humanos e, por isso,
carregam consigo aspectos culturais, históricos e sócio demográficos existentes na
sociedade. Não é por outra razão que políticas de inclusão no setor privado e
público são urgentes a fim de que os mecanismos tecnológicos sejam menos
excludentes e não mais reproduzam a “codificação do passado”.
Por fim, uma terceira e incipiente questão é levantada em atenção ao que
pesquisadores têm proposto sobre a interação humano-computador: a centralidade
do componente e da inteligência humana (alguns diriam que a única de fato
inteligente nesta relação) para que a projeção do passado para o futuro não
perpetue nossas estratificações sociais, com todas as injustiças existentes (O’NEIL,
2016, p. 70). Assim, o aprimoramento e o desenvolvimento tecnológico passam
necessariamente pelo pensamento crítico dos “modelers”, cientistas de dados ou, de
forma mais ampla, das pessoas responsáveis pela manipulação e modelagem das
informações à sua disposição para a criação de modelos.
O’Neil (e o autor deste artigo) não fogem da responsabilidade de assumir que a
proposta é um paradoxo, se considerarmos o histórico do mercado financeiro e da
construção de algoritmos de scoring de crédito. Contudo, assim como não é
possível retornar a uma realidade em que o cartum de Peter Steiner no The New
Yorker faz sentido[28], também não há e tampouco haverá espaço para um horizonte
tecnológico que não enderece questões éticas relacionadas a seu próprio
desenvolvimento.
Bibliografia
BIGONHA, Carolina. (2018). Panorama setorial da Internet: Inteligência Artificial em
perspectiva. In: Inteligência Artificial e ética, Ano X, Número 2. Cetic.br.
BIONI, Bruno R. Privacidade e proteção de dados pessoais em 2018: Três pautas
que prometem esquentar o debate brasileiro.
BOLUKBASI, Tolga et al. Man is to computer programmer as woman is to
homemaker? debiasing word embeddings. arXiv preprint arXiv:1607.06520, 2016.
BKRAN, Maja. AI-Supported Decision-Making under the General Data Protection
Regulation.
BROWNSWORD, Roger. Knowing me, knowing you – Profiling, Privacy and the
Public Interest, pp. 345 – 363. In: Profiling the European Citizen.
BYGRAVE, L. (2001) Automated Profiling, Minding the Machine: Article 15 of the
EC Data Protection Directive and Automated Profiling. Computer Law & Security
Review 17(1):17-24. COGITAS, Ergo Sum. The Role of Data Protection Law and Non-
discrimination Law in Group Profiling in the Private Sector.
DATATILSYNET, The Norwegian Data Privacy Authority (2018). AI and Privacy.
DEIGHTON, John. “Market Solutions to Privacy Problems?” Chap. 6 in Digital
Anonymity and the Law – Tensions and Dimensions. Vol. II, edited by C. Nicoll, J.E.J.
Prins, and M.J.M. van Dellen, 137 – 146. Information Technology & Law Series. The
Hague: T.M.C. Asser Press, 2003.
ELECTRONIC FRONTIER FOUNDATION (2021). Google’s FLoC Is a Terrible Idea.
FEDERAL TRADE COMMISSION OF THE UNITED STATES OF AMERICA (2014).
Data Brokers: A Call for Transparency and Accountability.
INSTITUTO IGARAPÉ (2018). Existe um direito à explicação na Lei Geral de
Proteção de Dados do Brasil? Artigo Estratégico 39 | Dezembro 2018.
KAMARINOU, Dimitra et al. “Machine Learning with Personal Data: Profiling,
Decisions and the EU General Data Protection Regulation”.
KAMBER, Micheline; PEI, Jian. (2012). Data mining: concepts and techniques. 3rd
ed. ISBN 978-0-12-381479-1.
LETOUZÉ, Emmanuel (2018). Big Data e desenvolvimento: uma visão geral. In: Big
Data para o desenvolvimento. Ano X, Número 1. Cetic.br.
LUCENA, Pedro Arthur Capelari de. Policiamento preditivo, discriminação
algorítmica e racismo: potencialidades e reflexos no Brasil.
McCLURG, Andrew J. (2003) A Thousand Words Are Worth a Picture: A Privacy
Tort Response to Consumer Data Profiling, 98 Nw. U. L. Rev. 63 (2003).
MENDES, Laura Schertel; MATTIUZZO, Marcela (2019). Discriminação
Algorítmica: Conceito, Fundamento Legal e Tipologia. Direito Público, [S.I.], v. 16, n.
90, dez. 2019. ISSN 2236-1766.
O’NEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality
and Threatens Democracy. Crown Publishing Group, USA (2016).
POWLES, J; NISSENBAUM, H (2018). The Seductive Diversion of ‘Solving’ Bias in
Artificial Intelligence: Trying to “fix” A.I. distracts from the more urgent questions
about the technology.
PROGRAMARIA; C.A. Technologies. Por que o machismo cria barreiras para as
mulheres na tecnologia.
NAVARRO, Ana Maria. N. P. O Direito Fundamental à Autodeterminação
Informativa. In: CONPEDI/UFF. (Org.). XXI Congresso Nacional do CONPEDI. 1ed.:
FUNJAB, 2012.
ROCHA, Elisa Corrêa da. (2015). O direito à autodeterminação informativa e a
proteção de dados pessoais.
SABOYA, Maria Clara Lopes (2013): “Relações de Gênero, Ciência e Tecnologia:
Uma Revisão da Bibliografia Nacional e Internacional”. Educação, Gestão e
Sociedade: revista da Faculdade Eça de Queirós, ISSN 2179-9636, Ano 3, número 12,
novembro de 2013.
SCARISBRICK-HAUSER, Anne Marie. Data analysis and profiling.
SCHERMER, Bart W (2011). The limits of privacy in automated profiling and data
mining. In: Computer law & security review 27.
SZYMIELEWICZ, Katarzyna (2019) Your digital identity has three layers, and you
can only protect one of them. In: Quartz online, Ideas Series.
TEIXEIRA, Lucas (2015). Data Brokers e Profiling: vigilância como modelo de
negócios.
WHITE HOUSE (2016). “Big Data: A Report on Algorithmic Systems, Opportunity,
and Civil Rights”.
1. Bacharel em direito pela Universidade de São Paulo (USP). Participou
do Grupo de Pesquisa em Inteligência Artificial e Inclusão do ITS Rio
como ouvinte. E-mail: maru.arvigo@gmail.com. ↵
2. O uso do termo “inteligência” no que se denomina “inteligência
artificial” tem sido contestado por pesquisadores. Neste sentido, dois
livros são indicativos autores têm pontuado a respeito da
“inteligência” de algoritmos: “Algorithms Are Not Enough: Creating
General Artificial Intelligence”, de Herbert L. Roitblat, e “Artificial
Unintelligence: How Computers Misunderstand the World”, de
Meredith Broussard. Uma indicação de leitura mais breve é a
contribuição de Elizabeth Fernandez em sua coluna na Forbes que,
em 2019, escreveu: “AI Is Not Similar To Human Intelligence. Thinking
So Could Be Dangerous”. Ver também artigo publicado por Ragnar
Fjelland, Professor Emérito do Centro de Estudos das Ciências e
Humanidades da Universidade de Bergen, Noruega, na Nature: “Why
general artificial intelligence will not be realized”. ↵
3. É importante que seja feita a ressalva, contudo, de que a disputa a
respeito do termo “inteligência” (cf. nota de rodapé n. 2) é de extrema
relevância e deve ser acompanhada de perto por juristas, cientistas
sociais, cientistas da computação e todos os interessados no
desenvolvimento ético da tecnologia. ↵
4. Paulo Sá Elias detalha outros modelos em seu artigo “Algoritmos,
Inteligência Artificial e o Direito”. Disponível em:
https://www.conjur.com.br/dl/algoritmos-inteligencia-
artificial.pdf. Acesso em: 23.03.21. ↵
5. Para uma compreensão mais profunda do que são redes neurais e o
que é um perceptron, recomenda-se a leitura “Deep Learning Book”,
cujo capítulo a respeito do tema está integralmente disponível na
Internet para acesso gratuito. ↵
6. Pesquisas e debates têm sido conduzidos sobre “Explainable AI” (XAI).
Desenvolvidos sobretudo no Hemisfério Norte e com diferentes
abordagens sobre o que de fato significa uma IA “explicável”, os
papers abordamsoluções, arquiteturas e técnicas que poderiam
diminuir a opacidade dos algoritmos de aprendizado de máquina. ↵
7. No original: “[That was a concern, because] mathematical models, by
their nature, are based on the past, and on the assumption that
patterns will repeat”. ↵
8. Hildebrandt, M. (2008): Defining Profiling: A New Type of Knowledge?
In: Profiling the European Citizen, Cross-Disciplinary Perspectives
(Hildebrandt, M., Gutwirth, S., eds.), Springer Science, p. 17. ↵
9. “In the wake of the 9/11 terror attacks against the United States, John
Poindexter, the highest-ranking official to be criminally convicted in
the Iran-Contra debacle in the mid-1980s, successfully pitched an
idea to the U.S. Defense Department to create a computerized
surveillance system to track the everyday activities of all American
citizens with the goal of ferreting out terrorists. The program, known
originally as Total Information Awareness (TIA) would apply
sophisticated computer data-mining techniques to sift through
virtual mountains of data of everyday transactions, such as credit
card purchases, e-mail and travel itineraries, in an attempt to
discover patterns predictive of terrorist activity. If implemented, TIA's
exercise in data mining would, in the words of one critic, ‘amount to a
picture of your life so complete it's equivalent to somebody following
you around all day with a video camera’.” Andrew J. McClurg, A
Thousand Words Are Worth a Picture: A Privacy Tort Response to
Consumer Data Profiling, 98 Nw. U. L. Rev. 63 (2003). Disponível em:
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1628724.
Acesso em: 20.02.2019. ↵
10. "Online political microtargeting involves ‘creating finely honed
messages targeted at narrow categories of voters’ based on data
analysis ‘garnered from individuals’ demographic characteristics and
consumer and lifestyle habits’. Online political microtargeting can
take the ‘form of political direct marketing in which political actors
target personalized messages to individual voters by applying
predictive modelling techniques to massive troves of voter data’.
Online political microtargeting could also be seen as a type of
behavioural advertising, namely political behavioural advertising.
Behavioural advertising is a modern marketing technique that
involves tracking people’s online behaviour to use the collected
information to display individually targeted advertisements. Online
political microtargeting is used, for example, to identify voters who
are likely to vote for a specific party and therefore can be targeted
with mobilising messages. (For ease of reading, we also refer to
‘microtargeting’). Microtargeting also enables a political party to
select policy stances that match the interests of the targeted voter –
for instance family aid for families, or student benefits for students."
Borgesiues et al: Online Political Microtargeting: Promises and
Threats for Democracy, Utrecht Law Review, v. 14, issue 1, 2018.
Disponível em:
https://www.ivir.nl/publicaties/download/UtrechtLawReview.pdf.
Acesso em: 20.02.2019. Para mais informações a respeito, sugiro a
leitura do conteúdo disponível em
http://www.internetlab.org.br/pt/tag/microdirecionamento/.
Também é interessante visitar o site a seguir, cujo projeto monitora o
microdirecionamento e perfilhamento psicológico durante as eleições
em diversos países do mundo: https://whotargets.me. ↵
11. Para mais informações a respeito, sugiro a leitura de “O que esperar
do patrocínio de posts de candidatos durante a eleição” (VENTURINI,
2018). Disponível em:
https://www.nexojornal.com.br/expresso/2018/01/07/O-que-
esperar-do-patroc%C3%ADnio-de-posts-de-candidatos-durante-a-
elei%C3%A7%C3%A3o. Acesso em: 20.02.2019. ↵
12. Uma interessante intersecção pode ser feita com o artigo publicado
por Fernando Inglez de Souza Machado e Regina Linden Ruaro:
“PUBLICIDADE COMPORTAMENTAL, PROTEÇÃO DE DADOS
PESSOAIS E O DIREITO DO CONSUMIDOR”. Disponível em:
https://indexlaw.org/index.php/conpedireview/article/view/3745.
Acesso em: 28.03.21. ↵
13. Tradução livre do termo “profiling”, o termo “perfilhamento” foi
adotado em referência ao artigo de Bruno Bioni no JOTA, em que o
autor sugere quais seriam 3 pautas quentes para a temática de
privacidade e proteção de dados pessoais em 2018. Disponível em:
https://www.jota.info/opiniao-e-analise/colunas/agenda-da-
privacidade-e-da-protecao-de-dados/privacidade-e-protecao-de-
dados-pessoais-em-2018-15012018. Acesso em: 28.03.21. ↵
14. “Cookies são arquivos criados pelos websites que você visita. Eles
tornam sua experiência on-line mais fácil, economizando
informações de navegação. Com os cookies, os sites podem manter
você conectado, lembrar suas preferências do site e fornecer
conteúdo relevante localmente. Existem dois tipos de cookies: (i)
Cookies primários: criados pelo site que você acessa. O site é exibido
na barra de endereços; e (ii) Cookies de terceiros: criados por outros
sites. Esses sites possuem uma parte do conteúdo, como anúncios ou
imagens, que você vê na página da Web que acessa.” Disponível em:
https://support.google.com/chrome/answer/95647?
co=GENIE.Platform%3DDesktop&hl=pt-BR. Acesso em 05.04.21. ↵
15. A respeito disso, é interessante notar as recentes propostas do
Google - e as reações da sociedade civil e empresas concorrentes -
pelo bloqueio de cookies de terceiros, tecnologia utilizada para
rastrear a navegação de usuários, por meio do Privacy Sandbox. Para
isso, a empresa anunciou que substituirá tal tecnologia por um
mecanismo de agrupamento de usuários com comportamentos
semelhantes, o que, alega o Google, não mais permitirá a identificação
individualizada dos usuários da Internet. Contudo, a Electronic
Frontier Foundation, uma das organizações não governamentais mais
proeminentes do mundo na defesa da liberdade de expressão e
privacidade na Internet, rebateu dizendo que a iniciativa é uma
“terrível ideia”. Nota da EFF disponível em: https://www.eff.org/pt-
br/deeplinks/2021/03/googles-floc-terrible-idea. Acesso em:
23.03.21. ↵
16. "Data mining is the process of discovering interesting patterns and
knowledge from large amounts of data. The data sources can include
databases, data warehouses, the Web, other information repositories,
or data that are streamed into the system dynamically" (HAN,
KAMBER & PEI, 2012). ↵
17. Sob a perspectiva da proteção de dados e da privacidade, o
ordenamento jurídico brasileiro incorporou o princípio da não
discriminação ao inseri-lo dentre o rol de princípios da Lei Geral de
Proteção de Dados (Lei 13.709, de 14 de agosto de 2019), consagrados
no art. 6º da Lei. ↵
18. Um gráfico, criado pela Panoptykon Foundation (Polônia), que
demonstra de forma lúdica quais dados estão associados a cada uma
dessas camadas está disponível em:
https://panoptykon.org/sites/default/files/3levels.png. Acesso em:
20.02.2019. ↵
19. À época da re-publicação deste trabalho, o link para a versão
traduzida do artigo de Szymielewicz estava quebrado. Por este
motivo, disponibilizo a versão original: “Your digital identity has three
layers, and you can only protect one of them”. Disponível em:
https://qz.com/1525661/your-digital-identity-has-three-layers-
and-you-can-only-protect-one-of-them/. Acesso em: 23.03.21. ↵
20. Conforme explicitam as autoras, o significado de “discriminação
algorítmica” para o artigo expressa: “Feitas estas observações, vale
esclarecer que o termo ‘discriminação algorítmica’ utilizado, neste
artigo, para englobar tanto cenários que envolvem afirmações
estatisticamente inconsistentes quanto cenários em que as
afirmações, embora estatisticamente lógicas, de alguma forma tomam
os indivíduos que dela são objeto não de forma efetivamente
individualizada, mas apenas como parte de um grupo. Isso porque, a
nosso ver, uma classificação, ainda que consistente sob o ponto de
vista estatístico, pode em alguns casos se mostrar injusta.” ↵
21. SABOYA, Maria Clara Lopes (2013): "Relações de Gênero, Ciência e
Tecnologia: Uma Revisão da Bibliografia Nacionale Internacional".
Educação, Gestão e Sociedade: revista da Faculdade Eça de Queirós,
ISSN 2179-9636, Ano 3, número 12, novembro de 2013. Disponível em:
http://uniesp.edu.br/sites/_biblioteca/revistas/20170509155548.pdf.
Acesso em: 20.02.2019. ↵
22. Cetic.br (2018): "Panorama Setorial da Internet", Ano 10, N. 2.
Disponível em:
https://cetic.br/media/docs/publicacoes/1/Panorama_outubro_2018_online.pdf.
Acesso em: 20.02.2019. ↵
23. “Big Data: A Report on Algorithmic Systems, Opportunity, and Civil
23. “Big Data: A Report on Algorithmic Systems, Opportunity, and Civil
Rights”. Disponível em:
https://obamawhitehouse.archives.gov/sites/default/files/microsites/ostp/2016_0504_data_discrimination.pdf.
Acesso em 20.02.2019. Cite-se, apenas a título de curiosidade, que a
inteligência artificial utilizada para gerar os resultados dito aleatórios
(mas que escondem um padrão curioso) é conceituada como uma
Generative Adversarial Network (GAN), cujo funcionamento está
descrito em: https://www.lyrn.ai/2018/12/26/a-style-based-
generator-architecture-for-generative-adversarial-networks/.
Acesso em: 20.02.2019. ↵
24. Interessante notar, conforme aponta Pedro Arthur Capelari de
Lucena (2019), que, em países de língua inglesa (notadamente os
Estados Unidos), “bias” é o termo utilizado para o impacto dos
processos algorítmicos provocados por interpretação de Big Data. O
mesmo termo é utilizado em países de língua italiana (sem tradução,
portanto “bias”) e espanhola (com tradução, para “sesgo en los
algoritmos”). No Brasil, “bias” é entendido como “viés”, acepção
distinta de “discriminação”, vocábulo mais comum empregado em
textos midiáticos e acadêmicos para refletir os processos
algorítmicos preditivos com vieses embutidos. Menção especial deve
ser feita à doutrina sobre discriminação algorítmica construída por
Laura Schertel Mendes e Marcela Mattiuzzo (2019). ↵
25. Um exemplo expressivo desta problemática é concretizada em uma
estrutura conhecida como “word embedding”, uma abordagem de
mineração de textos em que as palavras são representadas de forma
matemática em um vetor. Como demonstram Bolukbasi et al. (2016, p.
3) “word-embeddings contain biases in their geometry that reflect
gender stereotypes present in broader society. Due to their wide-
spread usage as basic features, word embeddings not only reflect
such stereotypes but can also amplify them. This poses a significant
risk and challenge for machine learning and its applications”. ↵
26. Ou “discriminação”, conforme debate linguístico apontado na
referência n. 38. ↵
27. O que, para estudiosas como Powles e Nissenbaum, não deixa de ser
uma tentativa de resolver um problema computacional estreito
(vieses e preconceitos embutidos em sistemas de inteligência
artificial) quando, na verdade, a realidade social subjacente a ele é
mais ampla, possui uma assimetria imensa entre custos sociais e
ganhos privados na esteira da implementação de sistemas
automatizados. A tradução e o link para o artigo original pode ser
encontrados em: https://dataprivacy.com.br/o-diversionismo-
sedutor-de-resolver-os-vieses-na-inteligencia-artificial/. Acesso em:
04.04.21. ↵
28. A respeito, sugere-se a leitura:
https://web.archive.org/web/20171229172420/http://www.nytimes.com/2000/12/14/technology/cartoon-
captures-spirit-of-the-internet.html. Acesso em: 05.04.21. ↵
2. Automação e o futuro do trabalho: Elementos
de um roteiro estratégico para a educação e a
formação profissional
Ana Paula Camelo[1]
Cláudio Lucena[2]
Resumo: Nenhuma tradição ou modelo de acreditação profissional consegue se
isolar dos enormes impactos e das consequências do desenvolvimento tecnológico.
À luz deste choque iminente, as instituições que são responsáveis pela formação,
preparação e pela acreditação de diversas categorias profissionais em cada
sociedade precisam considerar que a incorporação da dimensão digital na visão de
mundo que transmitem a seus alunos é um ponto chave. Há uma estratégia global
para encapsular uma visão adequada do ambiente digital na educação superior e na
formação profissional atual? Que iniciativas poderiam constituir um roteiro
possível? Neste artigo, discute-se como esse processo é marcado pela gradativa
necessidade de se incorporar competências digitais nas habilidades que são
transmitidas e depois cobradas dos alunos em formação das mais distintas áreas do
conhecimento e atuação. Paralelamente, mostra-se fundamental refletir sobre o
próprio futuro das profissões nesse contexto. Para tanto, o trabalho examina
iniciativas que incorporam habilidades de programação à educação especialmente
em áreas não-computacionais, como é o caso da área jurídica. Observa-se um
movimento de construção de conhecimentos valorizando a multi e
interdisciplinaridade e, de certa forma, pelo viés colaborativo através de
intercâmbio entre professores, alunos e pesquisadores de históricos e experiências
profissionais diferentes, de modo a enriquecer a troca de perspectivas e solucionar
problemas comuns. Como desafios, ressalta-se o fato de que as universidades e
associações profissionais precisam discutir conjuntamente e de forma crítica o
impacto que uma combinação de tecnologias tem tido, redefinindo a forma como
atividades e serviços profissionais vêm sendo oferecidos ao longo de séculos.
Espera-se que a discussão mobilizada possa contribuir sugerindo passos
estratégicos para um roteiro de educação e de acreditação profissional que, ao
oferecer oportunidades continuadas de aprendizado, seja instrumento de redução
de desigualdades, valorize a realização humana, promova o desenvolvimento
sustentável.
Introdução
A velocidade e o impacto da incorporação de novas tecnologias no cotidiano das
pessoas, tanto do ponto de vista pessoal, quanto profissional, se mostra cada vez
mais evidente e complexo, demandando um olhar contínuo e crítico para e sobre as
transformações em curso não só na indústria, mas na sociedade como um todo: na
economia, na forma como nos relacionamos, nos hábitos de consumo de produtos e
serviços, como nos comunicamos e como trabalhamos. Nesse contexto, vêm
ganhando destaque discussões em torno da ideia de indústria 4.0 ou quarta
revolução industrial, na qual “se verificam novos modelos de negócio, bem como
remodelações acentuadas nos negócios já existentes” (SCHWAB, 2017, p. 2) em
torno de produtos, procedimentos e processos inteligentes.
O termo Indústria 4.0 se tornou, de fato, publicamente conhecido somente a
partir de 2011 em um contexto de discussão sobre meios e instrumentos para se
fortalecer a competitividade da indústria manufatureira alemã naquele contexto
(KAGERMANN et al, 2013).
A quarta revolução industrial cria um mundo em que os sistemas de fabrico
virtual e físico cooperam entre si, de forma flexível. Uma indústria muito mais
digital, com fábricas inteligentes, processamento e armazenamento de dados em
cloud (nuvem), significativos avanços tecnológicos de inteligência artificial e um
conceito apelidado de “Internet das Coisas” (FERREIRA, MARTINS, 2018).
Apesar da origem do conceito, das suas raízes no contexto de discussão sobre
inovações tecnológicas de automação e tecnologia de informação no âmbito de
processos de manufatura, o que se observa hoje são transformações e mudanças
em curso atreladas a essa ideia permeando os mais distintos contextos sociais e
estilos de vida.
É a partir dessa conjuntura que nos interessa observar, com cuidado, a
configuração do mercado de trabalho ao longo desse processo e as mudanças ali já
ocorrendo. Dentre as várias características, chamam atenção os desafios que
podem configurar novos paradigmas no que diz respeito a como e onde se trabalha,
quais competências e habilidades passam a ser valorizadas, o papel das instituições
de educação e formação educacionais, dentre outros elementos que, de diferentes
formas, acabam forçando pessoas e instituições a, de alguma forma, se
reinventarem na relação com a inovação e tecnologia em decorrência de pressões
internas e externas, a fim de acompanhar a velocidade dessastransformações.
Segundo o relatório “The Future of Jobs – Employment, Skills and Workforce
Strategy for the Fourth Industrial Revolution” (2016), essas transformações podem
levar a um corte de aproximadamente 7,1 milhões de postos de trabalho dentre os
anos de 2015 e 2020 em função de uma série de reformulações que se dão e se
darão desde o chão de fábrica. Ainda segundo o documento, a expectativa é que as
ocupações serão diferentes e a mão de obra tradicional, braçal, passará a contar
com mais engenheiros e programadores, a partir de sua relação cada vez mais
direta com os sistemas tecnológicos.
Ao abarcar os desenvolvimentos em robótica, inteligência artificial,
nanotecnologia, impressão 3D e biotecnologia, tal conjuntura será marcada por
“uma ruptura generalizada não apenas nos modelos de negócios, mas também nos
mercados de trabalho nos próximos cinco anos, com enormes mudanças previstas
nos conjuntos de habilidades necessárias para prosperar” (WORLD ECONOMIC
FORUM, 2016). A partir de então, a principal reflexão que emerge endereça “como
os negócios, o governo e os indivíduos reagirão a esses desenvolvimentos” (Ibidem).
Ainda de acordo com o documento do Fórum Econômico Mundial, “embora
muito tenha sido dito sobre a necessidade de reforma na educação básica,
simplesmente não é possível enfrentar a atual revolução tecnológica esperando que
a força de trabalho da próxima geração esteja mais bem preparada”. E é por esse
motivo que este artigo, em especial, foca na dimensão educacional relacionada ao
futuro das profissões.
O artigo inicia com o desenvolvimento da ideia de indústria 4.0. Abordam-se,
principalmente, as características, os componentes e princípios desta que também
é conhecida por a quarta revolução industrial. Logo em seguida, apresenta-se o
método utilizado na pesquisa, sobretudo pesquisa bibliográfica sobre o tema. Na
terceira parte, discute-se o perfil dos profissionais nesse “novo” mercado em
expansão e como algumas estratégias educacionais se mostram fundamentais na
definição de maior ou menor sucesso de determinados indivíduos. Por fim, mapeia-
se possíveis riscos e desafios correlacionados.
Componentes, princípios e pilares da Indústria 4.0
De acordo com Jorge Eduardo Braz de Amorim no artigo “A Indústria 4.0 e a
sustentabilidade do modelo de financiamento do regime geral da segurança social”
(2017), indústria 4.0 ou quarta revolução industrial trata de um conceito que
engloba as principais inovações tecnológicas da atualidade. “É baseada em
processos industriais descentralizados, controlados de forma autônoma por
sistemas cyber físicos e pela internet das coisas” que, como já mencionado, têm
seus impactos e influências ultrapassando as barreiras industriais e atingindo todos
os setores da economia (AMORIM, 2017).
Dentre os princípios constituintes dessa ideia, que a diferenciam da indústria
convencional – da fabricação em massa -, estão (a) interoperabilidade; (b)
virtualização; (c) descentralização; (d) trabalho em equipe; (e) orientação dos
serviços e (f) sistema modular que funcionam a partir de alguns pilares
fundamentais: (i) análise de dados e big data; (ii) volume; (iii) variedade; (iv)
veracidade e (v) valor das informações processadas.
Essas mudanças em interação, por sua vez, implicaram transformações
disruptivas nos modelos de negócios e terão um impacto profundo no mercado de
trabalho nos próximos anos, bem como na preparação dos profissionais de diversas
áreas para ocupar novas e velhas posições. Tais mudanças abarcam desde a criação
de empregos antes impensáveis, até o deslocamento e/ou extinção de funções que
só se tornaram possíveis pelo uso cada vez mais intensivo de tecnologias digitais,
rápido desenvolvimento tecnológico nos últimos anos e uma configuração social,
econômica e política que se coproduzem juntamente com esses processos.
São igualmente centrais nesses processos a massiva difusão de aparelhos
celulares; crescente acesso à Internet móvel e serviços em nuvem; avanços no
poder computacional das máquinas e amplo uso do Big Data; desenvolvimento e
expansão da Internet das coisas por meio de sensores, comunicação e
processamento de dados remotos para incontáveis fins; difusão de produtos e
serviços baseados na economia do compartilhamento; desenvolvimento e adoção
de processos autônomos; e uso de robótica avançada em diferentes atividades do
cotidiano, apenas para citar alguns. Paralelamente, observa-se algumas tendências
de cunho demográfico e socioeconômico como: mudanças na natureza dos
trabalhos, novos modelos de mercados e novos tipos de produtos e serviços,
questões em torno da privacidade, gênero, ética, urbanização e maior acesso a bens
e produtos tecnológicos.
Schwab (2017, p. 39), por sua vez, identifica como profissões mais propensas à
automação: telemarketing, avaliadores de seguros, secretário executivo,
recepcionistas, agente imobiliário, dentre outras. Ou seja, atividades marcadas por
alto grau de repetição de tarefas e baixa complexidade. Ainda segundo o
pesquisador, as profissões com menor propensão de automação seriam:
profissionais de saúde mental, coreógrafos, médicos, psicólogos, gestores de
recursos humanos, para citar alguns exemplos.
Essa dinâmica, contudo, seria acompanhada por uma crescente e significativa
oportunidade de trabalho a ser criada, sobretudo relacionada à computação e
matemática, para analistas e cientistas de dados, para especialistas em inteligência
artificial e automação, marcando uma separação entre humanos, máquinas e
algoritmos, e suas respectivas atuações na cadeia produtiva e social. Mas não
apenas. É nesse momento também que se faz necessário mencionar a discussão
sobre a emergência de empregos híbridos, combinando habilidades de funções
anteriores em um novo papel (DELOITTE, 2017).
Dessa forma, o que se tem é um cenário no qual se valoriza e se exige
profissionais com qualificações técnicas para analisar dados, lidar com o mundo
digital e que tenham flexibilidade, competências específicas da sua área de atuação
e habilidades como: pensamento analítico e crítico, criatividade, iniciativa, trabalho
em equipe, inteligência emocional, assim não desempenhando tarefas repetitivas
que poderiam ser automatizadas e devem ter um aumento de demanda significativo
tendo em vista o cenário atual (DELOITTE; MANUFACTURING INSTITUTE, 2011).
Esse cenário, da forma que se apresenta, coloca em questão a importância e o
desafio da formação dos futuros profissionais e a atualização daqueles que já estão
no mercado. Isso implica olhar com cuidado para a formação de jovens e
desempregados. Em muitos casos, o sistema educacional passa a ter um papel de
destaque na construção de valores e condições distintivas para a competitividade
(AIRES; KEMPNER-MOREIRA; FREIRE, 2017).
Como desdobramentos desses processos, outros efeitos tendem a ser
observados, como uma maior aproximação entre empresas e instituições de ensino
(escolas e universidades), para ajudar os alunos a desenvolver as habilidades de que
precisam. Em outras palavras, discute-se como “dada a complexidade do
gerenciamento de mudanças necessário, as empresas precisarão perceber que a
colaboração em questões de talentos, em vez de competição, não é mais uma
estratégia boa, mas sim necessária” (WEF, 2016, p.32).
O que isso significa para as estratégias e sistemas
educacionais?
Esta é apenas uma dentre várias perguntas que se tornam centrais quando se
discute o futuro das profissões. Quais são as habilidades que se tornarão
“obrigatórias” e quais seriam as possibilidades em termos de treinamento e
educação para propiciar tais habilidades? Por isso a importância de se ponderar o
papel da educação básica em prover as habilidades fundamentais necessárias para a
aprendizagem dinâmica, compatível com o ritmo constante e acelerado de
transições que os indivíduos enfrentarão, por exemplo, passando da economia
informal para a formal ou da manufatura para o setor de serviços (INTERNATIONAL
LABOUR ORGANIZATION, 2018).
Trabalhadores mais instruídos e qualificadosterão, em média, mais capacidade de
se adaptar às novas tecnologias e se beneficiarão dos salários reais mais altos que
esses trarão, aumentando a produtividade. Trabalhadores menos instruídos
geralmente arcam com mais custos de automação, potencialmente ampliando ainda
mais as desigualdades existentes de renda e riqueza. Aumentar sua capacidade de
adaptação e habilidades será fundamental para permitir que esses grupos
compartilhem os ganhos das novas tecnologias e trabalhem mais efetivamente com
eles (PWC, 2018, P.34).
O reconhecimento da complexidade desses processos, por sua vez, coloca como
fundamental o engajamento não somente entre empresas e instituições de ensino,
mas também na relação com agentes e instituições governamentais, tendo em vista
a importância do tema enquanto objeto de política pública de educação e
treinamento compatíveis com um mundo cada vez mais automatizado e em uma
economia cada vez mais digital.
Isso exigirá programas eficazes de reciclagem para os trabalhadores mais velhos,
bem como ajuda na procura de emprego. É claro que os trabalhadores também
precisam assumir responsabilidade pessoal pela sua aprendizagem ao longo da vida
e desenvolvimento de carreira, mas os governos e as empresas precisam apoiá-los
na consecução desses objetivos (PWC, 2018, P.34).
Segundo GIFFI et al (2018), a escassez de profissionais com habilidades e
competências específicas demandadas pelo mercado de trabalho, dentre vários
problemas, é um risco para a economia. Estudo da Deloitte e The Manufacturing
Institute (2018) mostra que o mercado já tem experienciado um fenômeno de
escassez de talentos que, por sua vez, impactam negativamente na sua atividade
fim.
É por essas e outras razões que justificamos a necessidade e oportunidade de se
discutir sobre o papel das instituições e dos atores que atuam na formação dos
novos e velhos profissionais.
Por uma estimativa popular, 65% das crianças que entram nas escolas primárias
hoje em dia acabarão por trabalhar em novos tipos de emprego e funções que ainda
não existem. Tendências tecnológicas, como a Quarta Revolução Industrial, criarão
muitas novas funções multifuncionais para as quais os funcionários precisarão de
habilidades técnicas, sociais e analíticas. (…) As empresas devem trabalhar em
estreita colaboração com governos, provedores de educação e outros para imaginar
como seria um currículo verdadeiro do século XXI (WEFF, 2016).
(Trans)formações na área jurídica
A tecnologia está mudando, de diversas formas e intensidades, de maneira a
impactar na forma como os produtos e serviços são oferecidos, precificados e
avaliados. E esse fenômeno não seria diferente na área jurídica. Significativas
transformações já podem ser observadas na forma como os serviços estão sendo
prestados – como os escritórios de advocacia estão se organizando e quem faz
parte desse processo.
Dentre os fatores que constituem esse processo, chama a atenção a importância
já atribuída às ferramentas e técnicas de inteligência artificial (IA) e seu impacto na
prática jurídica, que se materializa em soluções como assistentes digitais e
inteligentes, chatbots, ou até mesmo sistemas autônomos de inteligência e
aprendizado de máquina que são usados para fazer previsões e tomar decisões, tal
como ocorre nos campos da saúde, educação, e atividades de comunicação.
Muitas são as promessas de que, no contexto de escritórios de advocacia,
soluções baseadas em IA e aprendizado de máquina podem ajudar, ou mesmo
desempenhar o trabalho completo de revisão/redação de documentos jurídicos,
além da própria pesquisa em si, assim eliminando tarefas rotineiras. A expectativa é
que atividades como revisão de contratos, cálculo de riscos e previsões sobre os
resultados dos processos judiciais sejam executadas mais rapidamente e com mais
eficiência quando executadas pelas máquinas. Como desdobramento, o profissional
em questão poderia ter acesso a insights adicionais e se dedicar a tarefas mais
complexas e estratégicas para o seu negócio, aumentando a produtividade,
minimizando riscos e melhorando a prestação de serviços jurídicos, como
argumentam muitos pesquisadores na área.
Para dar conta desses processos e desafios já em curso, muitas instituições de
ensino, no Brasil e no exterior, estão repensando e transformando suas realidades
considerando a formação dos futuros profissionais, a partir da incorporação de
competências digitais no rol de habilidades a serem desenvolvidas. A título de
exemplificação, chamamos atenção para alguns exemplos, como a Escola de Direito
de São Paulo da Fundação Getúlio Vargas, a iniciativa da Rede INNOVATE no
contexto da Ordem dos Advogados do Brasil da Paraíba, além de mencionar outras
iniciativas mapeadas no contexto europeu e norte-americano.
Desde 2017, o Centro de Ensino e Pesquisa em Inovação (CEPI) da Faculdade de
Direito de São Paulo da Fundação Getúlio Vargas vem realizando pesquisas sobre o
futuro das profissões jurídicas, identificando novas tecnologias (por exemplo,
algoritmos de aprendizado, sistemas especialistas, etc.) que mudaram as atividades
e profissões jurídicas no país, e refletindo sobre como esse processo pode impactar
a formação jurídica em relação a conhecimentos, competências e habilidades
requeridos para lidar com essa nova realidade.
As iniciativas da FGV baseiam-se na ideia de que é fundamental uma reorientação
de objetivos e métodos de ensino jurídico, a fim de proporcionar uma experiência
educacional relevante e significativa para todos os envolvidos. Os experimentos
foram divididos em duas frentes[3] com objetivos específicos. Os Laboratórios de
Tecnologia foram cursos opcionais que privilegiaram a produção de um projeto de
tecnologia pelos alunos que impactasse na forma como serviços jurídicos são
prestados, como automação de documentos jurídicos (e.g. briefings e contratos
jurídicos automatizados, ou desenvolvimento de chatbots que ajudassem o público
em geral a conhecer a viabilidade de alguns instrumentos legais). A outra iniciativa
diz respeito a imersões em Direito e Tecnologia dentro das quais, durante uma
semana, os alunos se dedicam integralmente a entender um desafio legal advindo
dessas mudanças tecnológicas e são instigados a propor uma solução baseada em
desafios reais.
Na Paraíba, a Rede INNOVATE, vinculada à Ordem dos Advogados do Estado da
Paraíba (OAB-PB), surgiu a partir da mobilização de um grupo de jovens advogados
que criou uma startup social cuja proposta era identificar como o mundo digital
trouxe oportunidades e desafios para o ingresso de jovens profissionais no
mercado. A startup também se propunha a discutir, por meio de webinars e cursos
on-line, questões como a própria “advocacia 4.0”, blockchain, marketing jurídico
digital, dentre outras.
Em âmbito internacional, instituições como a Universidade do Minho (Portugal),
possui cursos de pós-graduação, a exemplo do mestrado em Direito e Informática,
cujo objetivo é dar aos alunos uma perspectiva sobre como o direito e a informática
influenciam um ao outro. Um dos principais diferenciais do programa é o incentivo
à cossupervisão da dissertação final do curso por membros do corpo docente de
ambas as unidades acadêmicas, que estão diretamente envolvidos no programa, a
saber, Direito e Ciências da Computação.
Na Universidade de Michigan, EUA, por sua vez, o Centro de Inovação em
Serviços Jurídicos ofereceu aulas interdisciplinares, como a LegalRnD, que trata da
prestação de serviços jurídicos na relação com inteligência artificial, análise
quantitativa para advogados, lei de privacidade e segurança da informação. Eles
também têm cursos que abordam inteligência artificial e conexões com a lei, ou
ética e regulamentação, destacando a necessidade de entender como leis e códigos
interagem.
Como último exemplo, cabe citar a iniciativa interdisciplinar da Universidade de
Georgetown, nos Estados Unidos, chamada “Legislação de Privacidade na Prática:
Direito e Tecnologia” que consiste em um curso ministrado em conjunto pelo corpo
docente do MassachusettsInstitute of Technology (MIT) e da Georgetown
University Law School. Ao longo da disciplina os alunos são divididos em grupos
mistos e são incumbidos da tarefa de explorar questões de política de privacidade
em profundidade sobre uma tecnologia emergente e propor soluções políticas que
poderiam ser adotadas. Ao final do curso, eles apresentam suas propostas em uma
sessão pública aberta a um júri convidado composto por executivos de políticas
públicas de tecnologia, funcionários da administração, legisladores e professores de
outras áreas acadêmicas.
Em comum, essas iniciativas têm demonstrado que, tendo em vista as novas
configurações do mercado de trabalho na sua coprodução com o desenvolvimento
tecnológico, sobretudo digital, além do conhecimento legal, os advogados devem
incorporar e demonstrar ter as habilidades digitais básicas que lhes permitirão lidar
com os desafios que os esperam.
As experiências e iniciativas concretas mencionadas acima corroboram as
discussões levantadas em torno da complementação entre competências técnicas
que devem ser adquiridas por meio de educação formal, de cunho acadêmico e
prático, independentemente da área (hard skills ou qualificação formal) e
competências comportamentais, mais associadas a traços de personalidade, por
exemplo, que facilitam a interação com outros (soft skills) para atender aos novos
papéis e funções que estão se (trans)formando junto com essa nova conjuntura
sociotécnica.
Considerações finais
Além de impactar a quantidade de empregos, as novas tecnologias, sobretudo
aquelas relacionadas à inteligência artificial e automação de processo, influenciam a
relação entre mercado de trabalho e o tipo de profissionais almejados para essas
novas e velhas funções. Essa relação, por sua vez, implica em novas demandas
direcionadas para as instituições que formam esses profissionais para adentrarem o
mercado de trabalho e ali permanecerem de forma bem-sucedida.
Contudo, é necessário reconhecer que este é um processo de longo prazo,
especialmente o de reflexão, adaptação e/ou inovação nos sistemas educacionais.
De acordo com o Fórum Econômico Mundial, “a maioria dos sistemas educacionais
existentes em todos os níveis oferece treinamento altamente em silos e continua
uma série de práticas do século XX que estão impedindo o progresso dos talentos
atuais e das questões do mercado de trabalho” (2016).
Essa constatação instiga discussões como “Qual é o papel das escolas no trabalho
do futuro? Parece que nosso sistema educacional foi modelado para treinar pessoas
para uma forma de trabalho, e não está claro se elas estão focadas no trabalho do
futuro” (HAGEL, 2017).
Além disso, reitera-se a necessidade de as empresas trabalharem em estreita
colaboração com governos, provedores de educação e outros “para imaginar como
seria um currículo verdadeiro do século XXI” (Ibid.).
Em média, até 2020, mais de um terço dos conjuntos de habilidades essenciais
desejadas para a maioria das ocupações será composto por habilidades que ainda
não são consideradas cruciais para o trabalho atual, de acordo com nossos
entrevistados. De modo geral, as habilidades sociais – como persuasão, inteligência
emocional e ensino de outras pessoas – terão maior demanda nas indústrias do que
habilidades técnicas restritas, como programação ou operação e controle de
equipamentos. Em essência, as habilidades técnicas precisarão ser complementadas
com fortes habilidades sociais e de colaboração. (WEC, 2016, p.20). Tradução nossa.
Tendo em vista a literatura levantada e os casos apresentados, nenhuma tradição
ou modelo de formação profissional pode ou deve isolar suas atividades, sejam elas
jurídicas ou não, dos enormes impactos e das consequências do recente
desenvolvimento tecnológico. Nesse contexto, as instituições responsáveis pela
educação, preparação e acreditação dos operadores legais devem incorporar a
dimensão digital na visão de mundo que transmitem aos seus alunos e identificar
quais iniciativas podem constituir um possível roteiro.
Este trabalho sugere que pelo menos dois caminhos devem ser perseguidos na
direção de tal roteiro. O primeiro é incorporar as competências digitais nas
habilidades que as instituições transmitem e exigem de seus estudantes de direito /
candidatos. A segunda é uma reflexão mais profunda sobre o futuro da profissão em
si. E não se pode deixar de considerar também que nem todo mundo e nem todos
os setores terão o mesmo acesso a instituições que priorizam esse tipo de
aproximação entre Direito e Tecnologia, e que algumas tecnologias podem reforçar
problemas de gênero, de discriminação e de assédio, mesmos em âmbito de
trabalho – o que não deve ser ignorado.
Referências bibliográficas
AIRES, R. W. A.; KEMPNER-MOREIRA, F. K.; FREIRE, P. S. Indústria 4.0:
competências requeridas aos profissionais da quarta revolução industrial. In: 
Congresso Internacional de Conhecimento e Inovação (CIKI), 7., 2017, Foz do
Iguaçu. Anais… Foz do Iguaçu: EGC, UFSC, 2017.
AMORIM, E. A indústria 4.0 e a sustentabilidade do modelo de financiamento do
Regime Geral da Segurança Social. Cadernos de Dereito Actual, Portugal, n.5, 2017,
p. 243-254.
DELOITTE, Navigating the future of work: can we point business, workers, and
social institutions in the same direction?, Deloitte University Press, [Westlake],
viewed 28 Feb 2019, https://dupress.deloitte.com/dup-us-en/deloitte-
https://dupress.deloitte.com/dup-us-en/deloitte-review/issue-21/navigating-new-forms-of-work.html
review/issue-21/navigating-new-forms-of-work.html .
DELOITTE; THE MANUFACTURING INSTITUTE. “The Skills Gap in U.S.
Manufacturing”, 2011. Disponivel em:
https://www2.deloitte.com/content/dam/insights/us/articles/4736_2018-
Deloitte-skills-gap-FoW-manufacturing/DI_2018-Deloitte-MFI-skills-gap-FoW-
study.pdf Acesso em: 25 fev. 2019.
FERREIRA, C.; MARTINS, E.. A importância das competências na era 4.0: The
importance of competences in era 4.0. Atas do IV Encontro Científico da UI&D.
SLA Santarém – Instituto Superior de Gestão e Administração de Santarém,
Portugal, 2018.
GIFFI, C. et al. The jobs are here, but where are the people? Deloitte Insight, 2018.
Disponível em:
https://www2.deloitte.com/insights/us/en/industry/manufacturing/manufacturing-
skills-gap-study.html Acesso em: 25 fev. 2019.
HAGEL, J. Radically open: Tom Friedman on jobs, learning, and the future of
workDeloitte Review, issue 21. 31/07/2017. Disponível em:
https://www2.deloitte.com/insights/us/en/deloitte-review/issue-21/tom-
friedman-interview-jobs-learning-future-of-work.html Acesso em: 25 fev. 2019.
INTERNATIONAL LABOUR ORGANIZATION. Skills policies and systems for a
future workforce. Issue Brieg #8; 2018. Disponível em:
https://www.ilo.org/wcmsp5/groups/public/—dgreports/—
cabinet/documents/publication/wcms_618170.pdf Acesso em: 25 fev. 2019.
HERMANN, M.; PENTEK, T.; OTTO, B. Design Principles for Industrie 4.0
Scenarios: A Literature Review. Working paper, 2015. Disponível em:
<http://rgdoi.net/10.13140/RG.2.2.29269.22248>. Acesso em: 25 fev. 2019
Kagermann, H., W. et al. Recommendations for implementing the strategic
initiative Industrie 4.0: Final report of the Industrie 4.0 Working Group, 2013.
Disponível em:
http://www.acatech.de/fileadmin/user_upload/Baumstruktur_nach_Website/Acatech/root/de/Material_fuer_Sonderse
iten/Industrie_4.0/Final_report__Industrie_4.0_accessible.pdf. Acesso em: 25
fev. 2019.
PWC. Will robots really steal our jobs?: An international analysis of the potential
long term impact of automation 2018. Disponível em:
https://www.pwc.com/hu/hu/kiadvanyok/assets/pdf/impact_of_automation_on_jobs.pdf
Acesso em: 25 fev. 2019.
RAINIE, L.; e ANDERSON, J.. The Future of Jobs and Jobs Training. Pew Research
Center, 2017. Disponível em: http://www.pewinternet.org/2017/05/03/the-
future-of-jobs-and-jobs-training/ Acesso em: 25 fev. 2019.
SCHWAB. K.. The Fourth Industrial Revolution. London: Editor Penguin Random
House, 2017.
FORUM ECONOMICO MUNDIAL. The Future of Jobs Employment, Skills and
https://www2.deloitte.com/content/dam/insights/us/articles/4736_2018-Deloitte-skills-gap-FoW-manufacturing/DI_2018-Deloitte-MFI-skills-gap-FoW-study.pdfhttps://www2.deloitte.com/insights/us/en/industry/manufacturing/manufacturing-skills-gap-study.html
https://www2.deloitte.com/insights/us/en/deloitte-review/issue-21/tom-friedman-interview-jobs-learning-future-of-work.html
https://www.ilo.org/wcmsp5/groups/public/---dgreports/---cabinet/documents/publication/wcms_618170.pdf
http://rgdoi.net/10.13140/RG.2.2.29269.22248
http://www.acatech.de/fileadmin/user_upload/Baumstruktur_nach_Website/Acatech/root/de/Material_fuer_Sonderse%20iten/Industrie_4.0/Final_report__Industrie_4.0_accessible.pdf
https://www.pwc.com/hu/hu/kiadvanyok/assets/pdf/impact_of_automation_on_jobs.pdf
http://www.pewresearch.org/staff/lee-rainie
http://www.pewresearch.org/staff/janna-anderson
http://www.pewinternet.org/2017/05/03/the-future-of-jobs-and-jobs-training
Workforce Strategy for the Fourth Industrial Revolution, 2016. Disponível em:
http://www3.weforum.org/docs/WEF_Future_of_Jobs.pdf. Acesso em: 25 fev.
2019.
1. Pesquisadora e gestora de projetos no Centro de Ensino e Pesquisa
em Inovação (CEPI) da FGV Direito SP. Líder de pesquisas em futuro
do trabalho, tecnologias emergentes e inovação responsável.
Atualmente, é pós-doutoranda no Centro Brasileiro de Análise e
Planejamento (CEBRAP). É doutora em Política Científica e
Tecnológica pela Universidade Estadual de Campinas (Unicamp), com
doutorado sanduíche na Science Policy Research Unit (SPRU),
Universidade de Sussex (Reino Unido). Mestre em Divulgação
Científica e Cultural, também pela Unicamp. Bacharel em
Comunicação Social pela Universidade Federal de Viçosa. ↵
2. “Foi membro da Comissão Especial de Estudos Permanentes sobre
Compliance do Conselho Federal da Ordem dos Advogados do Brasil,
colaborador do Observatório Digital Watch da Geneva Internet
Platform e Pesquisador Visitante no Center for Cyber, Law and Policy
da Universidade de Haifa, em Israel, na Faculdade de Direito da
Universidade de Georgetown, em Washington. D.C. e na O.P. Jindal
Global University, Nova Deli, Índia. Bacharel em Ciência da
Computação pela Universidade Federal de Campina Grande. Integra o
grupo de especialistas do Forum de Governança de Internet da
Organização das Nações Unidas (ONU). É Fellow da ICANN (Internet
Corporation for Assigned Names and Numbers), do Latin American
Internet Governance Forum (LACIGF) e da South School on Internet
Governance (SSIG). Professor Convidado do Programa LAST-JD Ph.D.
pela Universidade de Turim, da International Summer School on
CyberLaw da Escola Superior de Economia, em Moscow e de diversas
outras universidades e instituições de ensino. Membro da
Comunidade Octopus Cybercrime do Conselho da Europa, dos
Capítulos Brasil e Portugal da Internet Society e da International Law
Association, onde é membro do Comitê Internacional de Estudos
sobre a Privacidade. Foi também Professor da Escola Superior da
Magistratura, da OAB e da Academia de Ensino da Polícia Civil do
Estado da Paraíba. Pesquisa e desenvolve trabalho em temas jurídicos
relacionados à tecnologia há mais de 20 anos, durante os quais foi
consultor e assessor junto a entidades públicas e agências
http://www3.weforum.org/docs/WEF_Future_of_Jobs.pdf
governamentais, instituições policiais e de segurança pública,
Tribunais de Justiça, CNJ e Congresso Nacional, bem como junto ao
setor privado, o Programa das Nações Unidas para o
Desenvolvimento (PNUD), o Tribunal Internacional da ECOWAS e o
Centro Europeu do Consumidor.” ↵
3. Cada uma das frentes de ensino já teve duas edições, cada uma com
um tema diferente e diferentes parceiros. ↵
3. Inteligência artificial e big data: o
processamento de dados como instrumento de
uma inclusão sócio digital
Camila Maria de Moura Vilela[1]
Resumo: O presente artigo pretende analisar como características atribuídas à
big data colocam diversos desafios dentro da Inteligência Artificial. Para tanto,
observa-se a discriminação no cenário contemporâneo no setor da Tecnologia da
Informação de Comunicação (TIC). Em síntese, a Inteligência Artificial (IA) é a chave
da sociedade da informação e do conhecimento, o que supõe diferentes técnicas
para resolver problemas e processar informações. As discussões apresentadas
constituíram-se por meio de uma abordagem descritiva e de caráter qualitativo,
tendo sido imprescindíveis o recurso à pesquisa bibliográfica e documental.
Introdução
Ultimamente muito temos ouvidos sobre Inteligência Artificial (IA) e também sobre
Big Data. Mas afinal a IA e Big Data têm alguma relação? Quando falamos em Big
Data, estamos falando de uma grande quantidade de dados. Dados cujo crescimento
é exponencial e a velocidade com que são processados é cada vez maior.
O combustível de IA são os dados. A IA opera por meio dos dados que possui e
aprende com eles, de modo a usar esses dados como padrões e aplicar estatísticas,
sendo capaz de fazer previsões. A manifestação da nossa inteligência nos remete a
pensarmos em um futuro repleto de robôs cada vez mais dotados de capacidades
múltiplas. No entanto, a IA só trará benefícios se movida pela diversidade.
Ademais, as desigualdades socioeconômicas e culturais determinaram a maneira
pela qual diferentes indivíduos e grupos se apropriaram de ferramentas e redes
digitais e acessaram oportunidades. Para entender o impacto que a IA terá sobre a
sociedade, economia, política e cultura, e também para ajudar a sua disseminação a
se dar de maneira mais justa, ética e humana, é necessário reconhecer a existência
de múltiplas lacunas digitais que vão além do simples acesso à tecnologia.
Temos que endereçar a necessidade de fortes princípios éticos, a evolução das
leis, o treinamento para novas habilidades e até mesmo as reformas do mercado de
trabalho. Isso tudo deve se juntar se quisermos aproveitar ao máximo a Inteligência
Artificial para nos beneficiarmos e construirmos uma sociedade civil e digital mais
inclusiva.
Podemos assim, criar séries de treinamento mais inclusivas, criar um mundo
onde a tecnologia trabalhe em favor de todos, não apenas em favor de alguns, ou
favorecendo alguns, além de pensarmos no bem-estar do ser humano, na conexão
de homens e máquinas, na integração do mundo físico com o virtual e dos serviços
com a ética.
O maior desafio é como conectar, integrar e extrair valor desse volume de dados
imenso. Como construir um ambiente em que a inteligência artificial seja motivo de
inclusão e não de exclusão? A partir disso, poderemos devemos acreditar que a IA
ajudará a resolver grandes problemas sociais e olhar para este futuro com uma
visão mais crítica. Haverá desafios e oportunidades, disso não podemos nos eximir.
Para tanto, este trabalho tem como principal objetivo trazer uma análise acerca
da aplicação da IA e do uso de dados em um contexto de promoção da igualdade e
inclusão sócio digital analisando os aspectos jurídicos, tecnológicos e sociais e, por
fim, analisando as violações digitais existentes, bem como os problemas e desafios
para novas tecnologias de informação e comunicação.
1. Cibernética, inteligência artificial e robótica
Este artigo interliga a IA com a análise de dados, colocando em perspectiva as
principais oportunidades e cuidados necessários para que essa tecnologia traga
uma transformação positiva para a sociedade.
Quando falamos de IA, remetemos a sistemas classificadores, baseados em regras,
aprendizado de máquina (machine learning), processamento de linguagem natural,
lógica bayesiana, armazenamento em cluster e outros. Com certeza os sistemas de
IA desenvolvidos são importantes, entretanto, devemos considerar um fator crucial
nos projetos de IA: os dados.
Assim, apesar do conceito de IA ter seus primeiros marcos já em 1943, mais
recentemente é que tem sido bastante discutido. Atualmente, passa a fazer parte do
nosso dia a dia, impactando o nosso cotidiano e requer, geralmente, uma grande
quantidade de dados. Vários desenvolvimentos estão a marcar esta onda de IA,
como capacidade de processamentos, algoritmos e modelos de IA cada vez mais
sofisticados, que geram volumes inimagináveis de dados, o combustívelda IA.
A IA é o ramo da ciência da computação que se propõe e elaborar dispositivos que
simulem a capacidade humana de raciocinar, perceber, tomar decisões e resolver
problemas. Por sua vez, a cibernética está ligada à IA, na medida em que é a sua
concretização prática. Assim, a Inteligência Artificial relacionada com as ciências
cognitivas, compreende e reproduz os processos mentais, ao mesmo tempo que, a
cibernética e a robótica compreendem e reproduzem os processos biológicos e
motores dos seres humanos (PASK, 1968)[2].
Considerando que desde o Frankenstein de Mary Shelley ao mito clássico do
Pigmaleão, passando pela história do Golem de Praga pelo robô de Karel Čapek, que
cunhou o termo, as pessoas têm fantasiado acerca da possibilidade de construir
máquinas inteligentes, frequentemente androides com características humanas. Do
mesmo modo que o visionário Isaac Asimov, cientista de origem russa estabeleceu
premissas básicas referentes as “Leis da Robótica”, qual objetivo era regular a ação
de robôs em um mundo compartilhado entre homens e máquinas inteligentes.
Agora a humanidade encontra-se em uma era em que robôs, bots, androides e
outras manifestações de IA, cada vez mais sofisticadas, parecem estar preparados
para desencadear uma nova revolução industrial, com a interconexão de todos
estes dispositivos inteligentes e a descentralização do controle dos processos, bem
como a Revolução 4.0 e a Internet das Coisas.
Se olharmos para o Parlamento Europeu, a Resolução de 16 de fevereiro de 2017
(doravante Resolução), contém recomendações à Comissão sobre disposições de
Direito Civil sobre Robótica. Tal Resolução debruça-se sobre o desenvolvimento, a
utilização e regras em matéria da IA e da Robótica, convergindo com diversas
disciplinas jurídicas, como a Responsabilidade Civil derivada das ações ou omissões
dos robôs e a eventual Personalidade Jurídica atribuída a estes; sobre questões que
envolvem o Direito da Família (mais concretamente, proteção das crianças e dos
idosos), o Direito da Propriedade Intelectual, o Direito à Proteção de Dados e
Privacidade, o Direito do Trabalho e da Segurança Social ou o Direito Fiscal
(FIDALGO, 2018).
A IA e a robótica têm ainda gerado discussões em outros ramos do Direito,
principalmente assuntos não abordados quanto aos problemas essenciais que estão
ligados às revoluções tecnológicas, o seu impacto nas várias classes sociais e a
concentração de capitais gerada por estas mudanças.
O objeto de estudo da IA continua cercado de certas arestas, no sentido em que o
homem ainda não possui uma definição suficientemente satisfatória de inteligência
e para se compreenderem os processos da IA e da representação do conhecimento
terão de se dominar os conceitos de inteligência humana e conhecimento. Neste
ponto, podemos vislumbrar a hibridez entre a máquina e a humanidade.
Devemos estar atentos aos dados para aproveitarmos ao máximo a inteligência
artificial, o aprendizado de máquina e a computação cognitiva. Ao mesmo modo de
como podemos utilizar os dados, gerar padrões e tendências e como tomar sólidas
decisões baseadas nessas decisões.
Nesta perspectiva, ao conectarmos os conceitos de big data e IA percebemos o
quão necessária é a IA para interpretar os dados que podem ter sido produzidos por
algo conectado, como um aplicativo, um automóvel, entre outros. Salientamos o
quanto o uso de algoritmos pela IA em big data facilitou a vida humana em diversos
aspectos. Entretanto, interferimos nossos questionamentos também no que
concerne a criatividade, o senso crítico e a análise profunda dos dados para
resolução de problemas.
Por isso, nos atentamos ao uso de algoritmos para levar inclusão. Por algoritmos
autônomos, nos referimos a métodos automáticos de processamento de dados, em
que determinados dados são inseridos, direta ou indiretamente pelo utilizador, em
um algoritmo que os processa para providenciar ao um resultado (FERREIRA, 2018).
2. Big data, aprendizado de máquina, privacidade e proteção
de dados
Big data é o nome genérico que se dá ao imenso volume de dados gerados
disponíveis na atualidade. Parte desses dados são estruturados, como os recibos e
tráfego web, e outra parte não, como Facebook, Twitter, entre outros.
Quando falamos em big data, não estamos atentos apenas ao grande volume de
dados. Cada vez mais há o interesse na proteção dessas informações. Porém, essa
proteção deve ir além da mera proteção legislativa sobre o tema, devemos pensar
no que queremos fazer com esses dados.
No Fórum Econômico Mundial do ano de 2012, em Davos, Suíça, big data já era um
tópico de marquise. Um relatório emitido pelo Fórum, intitulado “Big Data, Big
Impact: New Possibilities for International Development”, declarou os dados como
uma classe nova de recurso econômico, comparando-os a uma moeda corrente ou
ouro[3].
Com informações atuais do Fórum Econômico Mundial, tem-se o exemplo do
Oriente Médio e da África que terão uma expansão de tráfego de computação em
nuvem mais alta do que qualquer outro mercado no mundo até 2021, com uma taxa
de crescimento anual composta de 35%. Segundo Khalid Rumaihi, Presidente do
Conselho de Desenvolvimento Econômico do Bahrein, “Os dados – coletados e
mantidos eticamente, protegidos e anonimizados – representam a agulha essencial da
bússola que pode reorientar as aspirações digitais da região e liberar o potencial
econômico harmonizado”[4].
Uma das principais questões envolvidas quanto ao tema é como fica a privacidade
de dados nas análises de big data. A legislação nesse caso pode ajudar. Após o caso
da Cambridge Analytica, a União Europeia resolveu revisar suas leis de proteção de
dados, que resultou na criação do GDPR (General Data Protection Regulation, ou
Regulamento Geral de Proteção de Dados).
O GDPR passou a valer em maio de 2018 e trata-se do maior conjunto de regras
de proteção à privacidade na Internet até o momento. Isso significa que o GDPR
tem repercussões não só no continente europeu, como também em outros países,
incluindo o Brasil. Por sua vez, no Brasil, foi aprovada a Lei Geral de Proteção de
Dados (LGPD), que entrou em vigor em agosto de 2020.
Considerando os principais aspectos e implicações práticas destas duas
legislações para o cenário digital, sem big data, data analytics e aprendizado de
máquina, empresas como Amazon, Netflix, Facebook, Google ou Spotify não seriam o
que conhecemos. Legisladores, empresários e profissionais precisam trabalhar para
garantir um nível adequado de privacidade sem prejudicar os avanços que estão
para surgir.
Um exemplo de implementação de machine learning pode ser observado por
meio do Facebook. Os algoritmos de aprendizado de máquina do Facebook reúnem
informações comportamentais para cada usuário na plataforma social. Com base no
comportamento passado, o algoritmo prevê interesses e recomenda artigos e
notificações no feed de notícias. Da mesma forma, quando a Instagram recomenda
produtos na aba “Explorar”, ou quando a Netflix recomenda um filme baseado em
experiências passadas, o aprendizado de máquina está em ação.
A diferença que podemos ressaltar entre IA e aprendizado de máquina, é pensar
sobre a IA como uma disciplina, por exemplo a Física. A IA tem a ver com teoria e
métodos – neste caso com teoria e métodos para criar máquinas que pensam e
agem como seres humanos.
O aprendizado de máquina, por outro lado, é um conjunto de ferramentas mais
ou menos como as leis da mecânica de Newton. Assim como dá para usar as leis de
Newton para descobrir quanto tempo leva para uma bola cair no chão se você soltá-
la de um penhasco, você pode usar o aprendizado de máquina para resolver alguns
problemas de IA. A diferença básica entre aprendizado de máquina e outras
técnicas em IA, por exemplo, em sistemas especializados, é que, no aprendizado de
máquina, as máquinas aprendem. Elas não começam inteligentes, mas ficam
inteligentes.
Com efeito, a IA leva-nos para outro nível de utilização, mineração e manipulação
de dados. Não se trata apenas de conceituar algoritmose automação, mas sim a
melhor forma prática de usar algoritmos para analisar dados.
Ademais, entramos num paradoxo, de forma clara a tecnologia evolui com
velocidade extrema, por outro lado, as normas jurídicas que visam regular essa
mesma tecnologia evoluem com uma lentidão extrema.
Com isso, para reconstruir a confiança nas plataformas de tecnologia, as
empresas e os representantes do governo devem priorizar a segurança e definir
diretrizes claras sobre como os dados são compartilhados.
3. A dignidade digital e os algoritmos inteligentes
O desenvolvimento de IA pode gerar inúmeros riscos e implicações para os direitos
humanos e fundamentais sob o ponto de vista jurídico, social e ético, tanto da
perspectiva individual quanto coletiva. Bem como pode gerar oportunidades em
muitos campos, entretanto, podemos observar alguns riscos ligados à inclusão
social, que incluem populações indígenas, mulheres, pessoas LGBTQ+, entre outros.
Nos questionamos sobre alguns quesitos, considerando que a abordagem binária
de código e dados legíveis para computadores não é compatível com o vasto
espectro de gênero e sexualidade. Como por exemplo, um algoritmo de orientação
sexual pode conhecer melhor a sexualidade de alguém do que a própria pessoa?
Existe um preconceito das máquinas? É possível falar sobre um direito de acesso
com a IA? Como fazer com que a IA não afunde com a desigualdade social das
pessoas?
As respostas para essas perguntas e tantas outras exigem um esforço
transcendente para repensar e inovar sobre os desafios de uma revolução que
estamos vivenciando.
Inicialmente, devemos tecer algumas ponderações, visto que as empresas do
setor de Tecnologia da Informação de Comunicação (TIC) evoluem ao mesmo
tempo em que diversas áreas se desenvolvem dentro da economia global. A
aprendizagem autônoma ou aprendizado de máquina é um subconjunto da IA que
proporciona aos sistemas a capacidade de aprender e de melhorar as necessidades.
Ademais, a base da programação e da computação é a lógica matemática.
No entanto, devemos estar atentos à relevância que estas tecnologias trazem
para os direitos humanos. Para que o desenvolvimento de IA seja compatível com os
direitos humanos é necessário termos uma regulação que incorpore uma série de
princípios que se vinculem com três categoria: dignidade algorítmica, identidade
algorítmica e vulnerabilidade algorítmica.
Como mencionamos, um dos riscos mais importantes que está presente na
aprendizagem automática é o de ampliar a discriminação e os preconceitos
existentes contra certos grupos, as comunidades frequentemente excluídas e
vulneráveis, tendo como embasamento a dignidade e o respeito.
É necessário que certifiquemo-nos de que a IA seja orientada pela ética, e não
apenas pela tecnologia. Em maio de 2018, diversas organizações, como a Amnesty
Internacional e a Access Now, apresentaram a Declaração de Toronto sobre a
proteção dos direito à igualdade e não discriminação nos sistemas de aprendizagem
automática. Esta Declaração busca ampliar as normas internacionais de direitos
humanos existentes no desenvolvimento e uso de sistemas da IA, visando construir
discussões, princípios e documentos existentes explorando os danos decorrentes
desta tecnologia[5].
Embora esta Declaração esteja focada em tecnologias de aprendizado de
máquina, muitas das normas e princípios incluídos são igualmente aplicáveis à IA,
bem como aos sistemas de dados relacionados[6].
Os direitos à igualdade e à não discriminação são apenas dois dos direitos
humanos que podem ser adversamente afetados pelo uso de sistemas de
aprendizado de máquina: privacidade, proteção de dados, liberdade de expressão,
participação na vida cultural, igualdade perante a lei e acesso à justiça são apenas
alguns dos outros direitos que podem ser prejudicados com o uso indevido desta
tecnologia.
Nesse contexto, em uma entrevista à rede britânica BBC, Iyad Rahwan, professor
do MIT envolvido no projeto “Norman”, argumentou que experiências que envolvam
algoritmos de IA são válidas por provarem que “dados são mais importantes que
algoritmos”. Ou seja, os dados usados para treinar a inteligência artificial têm
influência maior no comportamento do sistema do que o algoritmo usado para
articular essa inteligência artificial. “Os dados são refletidos na forma como a IA
percebe o mundo e como ela se comporta”, afirmou (RAHWAN, 2018).
Ora, um ponto crucial e indispensável é assegurar os princípios de igualdade e
não discriminação quando estamos frente à IA e aos direitos fundamentais. Ou seja,
devemos ter princípios jurídicos para uma IA que respeite e promova a vigência de
um Estado Constitucional, a partir dos paradigmas que surgem dos pactos
internacionais, e que em essência está baseado na dignidade humana.
Desta forma, dentro deste enfoque jurídico e protetivo, pressupõe-se haver uma
inovação inclusiva para o desenvolvimento sustentável, para que o desenvolvimento
da IA seja compatível com os direitos humanos e fundamentais. O desafio geral diz
respeito a regulações que incorporem uma série de princípios ligados ao
processamento de informação e aos dados que levam os resultados dos sistemas de
IA[7].
Proteger os direitos humanos e fundamentais perante a IA apresenta-se como um
desafio ao uso do big data e da IA, considerando que um dos principais desafios
consiste em entendermos sobre o que estamos falando, de modo a podermos
pensar o mais acertadamente sobre as características atribuídas a estes.
4. A eliminação da discriminação tecnológica e a busca pela
inclusão digital
Existe uma enorme oportunidade de impacto social a partir do surgimento de
algoritmos de IA e aprendizado de máquina. Além disso, há uma série de
preocupações relacionadas à maneira como os algoritmos podem ser
responsabilizados em áreas que afetam a esfera pública e privada (SHAH, 2018).
Conforme afirma Hetan Shah, “Os algoritmos na maior parte estão refletindo o
preconceito em nosso próprio mundo”. Podemos interpretar dessa afirmação que
existem muitos exemplos de problemas referentes à parcialidade em algoritmos
que aumentaram a preocupação social. Entre estes, o aplicativo de fotos do Google,
que identifica erroneamente um casal negro como gorila[8], preocupações com
preconceito racial nos resultados de algoritmos nos EUA usados para prever a
probabilidade de reincidência do réu[9] e estudos de mineração de texto mostrando
associações de palavras com estereótipos[10].
Devido a questões inerentes à programação, os algoritmos funcionam com uma
black box, ou seja, nem o próprio programador, enquanto “monitorizador” do
algoritmo, conseguirá perceber o porquê de aquele ter chegado a um determinado
resultado (FERREIRA, 2018).
Neste sentido, Afonso José Ferreira ainda tece o seguinte:
“Uma destas falhas (…) relaciona-se com a processamento de dados por
algoritmos autônomos. Por algoritmos autônomos, refiro-me a métodos
automáticos de processamento de dados, em que determinados dados são
inseridos, direta ou indiretamente, pelo utilizador, num algoritmo que os
processa para providenciar ao utilizador um resultado. O processamento de
dados através de algoritmos autônomos funciona como uma black box – isto
é, não é possível perceber o seu funcionamento interior, sendo apenas
possível conhecer os inputs e outputs da operação de processamento.”
Não obstante, convém destacar que é necessário garantir o funcionamento
adequado dos algoritmos. Visto que, é inegável que deve haver a garantia da
independência e da imparcialidade dos algoritmos cujos resultados possam
produzir efeitos nas esferas jurídicas (FERREIRA, 2018).
Também em síntese, destacamos o uso do big data e da IA em decisões
administrativas, policiais e judiciais. Dessa forma, os algoritmos estão se tornando
cada vez mais parte de nossa infraestrutura pública. Frente a estas situações é
necessário redescobrir novas formas de proteção da igualdade e ao direito a não
discriminação, pois as dificuldades para atuar, vigiar e controlar são complexas.
No que respeita a algorithmicaccountability, há algumas formas de iniciativa que
podem ajudar essa responsabilidade em torno do algoritmo. Primeiro, o modelo
deve ser testado para verificar o viés de várias maneiras, usando vários conjuntos
de dados de treinamento, sempre que possível. Como a Algorithmic Justice League
que oferecem ajuda na verificação de preconceitos[11].
Em segundo lugar, há um papel ligado à transparência, principalmente no
desenvolvimento de políticas públicas de IA. Aparentemente seria uma forma útil
publicar o modelo, os dados e os metadados explicando sua proveniência.
Entretanto, quanto a transparência ressaltamos dois pontos, um é o debate de até
que ponto a transparência pode dar sentido aos modelos de aprendizado de
máquina, e o outro é quanto que a própria transparência não é a chave para a
responsabilização (O’NEILL, 2002).
O viés algorítmico, como o preconceito humano, pode resultar em experiências
excludentes e práticas discriminatórias. Segundo Joy Buolamwini “Quem quer que
codifique o sistema, incorpora suas visões. Uma chamada para código inclusivo”, isto
significa que, como muitos programadores utilizam bibliotecas de códigos
populares, o código reutilizado às vezes reflete a falta de inclusão no espaço
tecnológico de maneiras não óbvias e os pedidos de inclusão de tecnologia
geralmente perdem o viés que está embutido no código escrito gerando
experiências frustrantes[12].
A leitura biométrica do rosto, igualmente denominada reconhecimento facial,
torna-se cada vez mais comum e isso ainda é mais frequente justamente pela
reutilização de códigos. Por mais que códigos reutilizáveis sejam mais eficientes, é
preciso criar código que funcione para pessoas de todos os tipos.
Portanto, em vez de concentrar-se apenas em examinar a black box, um terceiro
aspecto da responsabilidade seria monitorar os resultados dos impactos
diferenciais, com um enfoque particular nas comunidades mais pobres ou
minoritárias.
A Lei de Proteção de Dados do Reino Unido, de 1998, permite o direito de
contestar decisões significativas automatizadas baseadas apenas no processamento
automatizado, e isso continua a existir no Regulamento Geral de Proteção de Dados
da União Europeia.
Seja na Diretiva ou no Regulamento Geral de Proteção de dados, por exemplo, o
profiling é visto como uma forma anormal de processamento de dados, e como uma
exceção a ser evitada (FERREIRA, 2018)
A ideia de construir valores libertadores em sistemas tecnológicos não é algo
novo. Por exemplo, o movimento Appropriate Technology defende abordagens
sustentáveis para o desenvolvimento tecnológico nos países do Sul Global. Como
esses países são grandes consumidores de alta tecnologia, faz-se necessário ter
uma inclusão e acrescentar pessoas em grupos e núcleos que antes não faziam
parte através da automatização de atividades.
Os desafios e limitações para novas tecnologias de informação e comunicação
nos leva à pergunta que mencionamos no início deste trabalho: afinal, como
construir um ambiente em que a inteligência artificial seja motivo de inclusão e não
de exclusão? Dentro do contexto apresentado, precisamos explorar as formas como
a IA se relaciona com os níveis pessoais, comunitário e institucional, contra a
redução otológica, em direção ao design para o pluriverso.
5. Conclusão
Com foco em todo o exposto, este estudo enfatizou que precisamos considerar
abordagens que estão além da inclusão e da justiça, e que centralizem a autonomia
e a soberania.
Assim, não podemos abordar questões sociotécnicas, concentrando-nos apenas
na parte técnica dos problemas que refletem a discriminação e exclusão. Como a IA
é usada, em última análise, refletirá quais vidas nós escolhemos valorizar e quais
vozes escolhemos ouvir. Então, passamos a discussão da necessidade de
inteligência artificial mais inclusiva e conjuntos de dados mais representativos.
O surgimento da IA requer atenção ao viés inadvertido que pode perpetuar
práticas discriminatórias e experiências excludentes para pessoas de todas as
tonalidades e gênero. Em síntese, podemos trabalhar com o design da IA em torno
do bem-estar humano, pensando também em abordagens que incluam movimentos
sociais.
A IA tem o poder de melhorar a sociedade. Há uma ampla gama de mecanismos
que podem ajudar a melhorar sua utilidade fazendo com que hajam boas práticas.
Quando também mencionamos neste estudo alguns princípios à proteção humana
ressaltamos que os direitos de personalidade são inerentes aos seres humanos, não
podendo ser repassados para as máquinas, ainda que estas tenham uma grande
autonomia.
Precisamos considerar também abordagens que estão além da inclusão e da
justiça, e que centralizem a autonomia e a soberania, bem como alguns princípios
jurídicos que norteiam a dignidade humana, frente a possíveis exclusões que
possam haver com IA. As tecnologias se desenvolvem aceleradamente na Revolução
Industrial 4.0 e são empregadas em todos os setores de atividades,
Por fim, com a inclusão em mente, podemos melhorar a coleta de dados e os
algoritmos de treinamento. Desde que se consiga coletar os dados corretos, pode-
se fazer isso usando o aprendizado de máquina. Portanto, o objetivo é obter os
dados apropriados e encontrar o equilíbrio certo entre bom aprendizado e os
resultados, pois, a tecnologia sempre visou ser utilizada para melhorar as
capacidades humanas e dar uma maior qualidade de vida àqueles que a utilizam.
Referências bibliográficas
Obras de caráter geral e monografias
BEITZ, Charles R. La idea de los derechos humanos. Marcial Pons – Ediciones
Jurídicas y Sociales: Madrid, 2012. pp. 141-142; 244.
CALISKAN, Aylin; BRYSON, Joanna J.; NARAYANAN, Arvind. Semantics derived
automatically from language corpora contain human-like biases. Science. Vol. 356,
Issue 6334, pp. 183-186. Disponível em: <
http://science.sciencemag.org/content/356/6334/183>.
FERREIRA, Afonso José. (2018). Profiling e algoritmos autónomos: um verdadeiro
direito de não sujeitção? Em F. P. Coutinho, & G. C. Moniz, Anuário da Proteção de
Dados (pp. 35-43). Lisboa: CEDIS.
FIDALGO, Vítor Palmela. (2018). Inteligência Artifical e Direitos de Imagem. Em M.
G. Aline Mapelli, Os impactos das novas tecnologias no Direito e na Sociedade. (p.
233). Deviant.
PASK, Gordon. Uma Introdução à Cibernética. Coimbra, Arménio Armando-
Editora, Colecção Studium, 1970, 252 p. (Tradução do inglês An Approach to the
Cybernetics, de Luis Moniz Pereira. Londres, Hutchinson & Co., 1968).
RAHWAN, I. (03 de junho de 2018). Are you scared yet? Meet Norman, the
psychopathic AI. Fonte: BBC News. Disponível em:
<https://www.bbc.com/news/technology-44040008>.
SHAH, Hetan. Algorithmic accountability. Philosophical Transactions of the Royal
Society A: Mathematical, Physical and Engineering Sciences, 2018, vol. 376, no 2128, p.
20170362.
Outros documentos consultados
ANGWIN Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias, 23
de maio de 2016 . Propublica. Disponivel em:
<https://www.propublica.org/article/machine-bias-risk-assessments-in-
criminal-sentencing>.
GRIFFIN, Andrew. Google photos tags black people as ‘gorillas’, puts pictures in
special folder. The Independent, 1 de julho de 2015. Disponivel em:
<https://www.independent.co.uk/life-style/gadgets-and-tech/news/google-
photos-tags-black-people-as-gorillas-puts-pictures- in-special-folder-
10357668.html>.
LOHR, Steve. The age of big data. New York Times, 2012, vol. 11, no 2012.
Disponível em: <
https://s3.amazonaws.com/academia.edu.documents/34393761/2_The_New_York_Times_on_The_Age_of_Big_Data.pdf?
AWSAccessKeyId=AKIAIWOWYYGZ2Y53UL3A&Expires=1548817263&Signature=dqfRrEJ0HeJwoUVHqzv3m%2B5r7ZY%3D&response-
content-
disposition=inline%3B%20filename%3D2_The_New_York_Times_on_The_Age_of_Big_D.pdf>.
O’NEILL, O. (2002). The Reith Lectures, A Question of Trust Lecture 4: Trust and
Transparency. Fonte: BBC Radio. Disponível em:
<https://www.bbc.co.uk/programmes/p00ghvd8>.
RUMAIHI, Khalid. World Economic Forum Annual Meeting 2019. Three ways to
enable the flow of data inthe Fourth Industrial Revolution. Disponível em:
<https://www.weforum.org/agenda/2019/01/enabling-flow-data-fourth-
industrial-revolution-cloud-middle-east-bahrain/>.
1. Advogada. Pós-Graduada em Direito Público (ASCES-UNITA).
Mestranda em Direito Intelectual pela Faculdade de Direito da
Universidade de Lisboa. E-mail: camilavilela@outlook.com ↵
2. PASK, Gordon. Uma Introdução à Cibernética. Coimbra, Arménio
Armando- Editora, Colecção Studium, 1970, 252 p. (Tradução do
inglês An Approach to the Cybernetics, de Luis Moniz Pereira.
Londres, Hutchinson & Co., 1968). ↵
3. LOHR, Steve. The age of big data. New York Times, 2012, vol. 11, no
2012. Disponível em: <
https://s3.amazonaws.com/academia.edu.documents/34393761/2_The_New_York_Times_on_The_Age_of_Big_Data.pdf?
AWSAccessKeyId=AKIAIWOWYYGZ2Y53UL3A&Expires=1548817263&Signature=dqfRrEJ0HeJwoUVHqzv3m%2B5r7ZY%3D&response-
content-
disposition=inline%3B%20filename%3D2_The_New_York_Times_on_The_Age_of_Big_D.pdf>.
Acesso em: 20 dez. 2018.
http://www3.weforum.org/docs/WEF_TC_MFS_BigDataBigImpact_Briefing_2012.pdf
↵
4. RUMAIHI, Khalid. World Economic Forum Annual Meeting 2019.
Three ways to enable the flow of data in the Fourth Industrial
Revolution. Disponível em:
<https://www.weforum.org/agenda/2019/01/enabling-flow-data-
fourth-industrial-revolution-cloud-middle-east-bahrain/>. Acesso
em: 25 jan. 2019. ↵
5. The Toronto Declaration: Protecting the rights to equality and non-
discrimination in machine learning systems. Acces Now, 16 de maio
de 2018. Disponível em: <https://www.accessnow.org/the-toronto-
declaration-protecting-the-rights-to-equality-and-non-
discrimination-in-machine-learning-systems/>. Acesso em: 20 jan.
2019. ↵
6. RightsCon Toronto. Disponível em: <https://www.rightscon.org/>.
Acesso em: 20 jan. 2019. ↵
7. Como afirma Charles Beitz, no resulta plausible encontrar un
fundamento único o formular una lista de derechos. BEITZ, Charles R.
La idea de los derechos humanos. Marcial Pons – Ediciones Jurídicas
y Sociales: Madrid, 2012. pp. 141-142; 244. ↵
8. GRIFFIN, Andrew. Google photos tags black people as 'gorillas', puts
pictures in special folder. The Independent, 1 de julho de 2015.
Disponivel em: <https://www.independent.co.uk/life-
style/gadgets-and-tech/news/google-photos-tags-black-people-
as-gorillas-puts-pictures- in-special-folder-10357668.html>. Acesso
em: 15 jan. 2019. ↵
9. ANGWIN Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren.
Machine Bias, 23 de maio de 2016 . Propublica. Disponivel em:
<https://www.propublica.org/article/machine-bias-risk-
assessments-in-criminal-sentencing>. Acesso em: 15 jan. 2019. ↵
10. CALISKAN, Aylin; BRYSON, Joanna J.; NARAYANAN, Arvind. Semantics
derived automatically from language corpora contain human-like
biases. Science. Vol. 356, Issue 6334, pp. 183-186. Disponível em: <
http://science.sciencemag.org/content/356/6334/183>. Acesso
em: 15 jan. 2019. ↵
11. Cfr. informação em: <https://www.ajlunited.org/>. Acesso em 23 jan.
2019. ↵
12. Um exemplo quanto a utilização de códigos é o Aspire Mirror, projeto
do Media Lab que permite que você olhe para si mesmo e veja uma
reflexão em seu rosto com base no que o inspira. Desenvolvido 2015
por Joy Buolamwini, também fundadora do projeto Algorithmic
Justice League. ↵
4. Responsabilidade civil e inteligência artificial:
quem responde pelos danos causados por robôs
inteligentes?
Christine Albiani[1]
Introdução
O presente artigo tem como principal objetivo perquirir quais as possíveis soluções
acerca da responsabilização pelos danos causados por atos que a inteligência
artificial executa de forma autônoma, isto é, sem qualquer controle ou comando
dado por um ser humano.
Deve-se ter em vista que, em que pese a existência de normas jurídicas voltadas
para o campo da ciência, tecnologia e inovação (como a Lei n. 10.973/2004 – Lei da
Inovação – e Lei n. 12.965/2014 – Marco Civil da Internet), questões como a
responsabilidade civil por danos decorrentes de atos praticados por sistemas
autônomos de inteligência artificial não foram regulados pelo legislador,
provavelmente por nos encontrarmos num estágio ainda inicial do debate sobre o
assunto, demandando maior reflexão e desenvolvimento.
Para compreensão dessa temática devemos observar que robôs inteligentes e
cada vez mais autônomos já fazem e vão progressivamente fazer parte do nosso
cotidiano e eles efetivamente podem agir de forma equivocada e causar danos aos
seres humanos. Quanto mais complexas são as soluções apresentadas pelas
máquinas, é de se verificar que o Direito numa relação simbiótica com o
desenvolvimento tecnológico avance para buscar compreender o que são robôs
inteligentes e como deverá ser a resposta do ordenamento jurídico à sua atuação.
Questiona-se se os regimes de responsabilidade civil existentes seriam
suficientemente flexíveis para lidar com os novos danos derivados da relação entre
humanos e robôs, precipuamente quando observarmos robôs autônomos, que
conseguem por meio de aprendizagem constante, desenvolver novas habilidades,
dispensando cada vez mais interferências externas para tanto, sendo capaz de agir
de forma imprevista pelo seu programador e/ou proprietário.
Pretende-se, portanto, analisar quem deve ser responsabilizado civilmente pelos
danos causados por robôs autônomos ou por programas que utilizam inteligência
artificial, perpassando por questões necessárias, como: quem deve garantir a
segurança dessas novas tecnologias; se poderia ser atribuída responsabilidade civil
à própria máquina mesmo sem personalidade jurídica ou se deveria ser atribuída
personalidade jurídica para tanto; e se essa seria a melhor alternativa de regulação.
Surge, ainda, a necessidade de observar qual seria o momento mais adequado
para se instituir uma normatização sobre o referido tema, tendo em vista que com o
crescente desenvolvimento e utilização da inteligência artificial nas mais diversas
áreas da vida moderna, seu impacto na sociedade será maior, demandando reflexão
e debate quanto à necessidade de regulação dessas novas tecnologias.
Num primeiro momento, verifica-se que, conforme o ordenamento jurídico
brasileiro, apenas pessoas podem titularizar direitos e contrair obrigações, e, assim,
surgem uma série de dúvidas no âmbito da reparação civil, fazendo-se necessário
observar a experiência de outros países com o intuito de que se investigue e se
elejam formas de responsabilização que promovam a dignidade da pessoa humana
(como valor maior do nosso ordenamento) – possibilitando a reparação integral da
vítima – e, ao mesmo tempo, sejam compatíveis com o presente estágio tecnológico
e não representem um desestímulo à ciência e inovação e ao desenvolvimento de
novas tecnologias.
Aparentemente, diante da sistemática de responsabilização civil adotada no
Brasil, as vítimas poderão imputar responsabilidade pela reparação ao proprietário
ou responsável final pela inteligência artificial e/ou seu fabricante, a depender da
situação, da tecnologia e grau de autonomia.
Todavia, diante do crescente progresso da Inteligência Artificial e
aperfeiçoamento do Machine Learning – meio através do qual máquinas e
softwares aperfeiçoam o desenvolvimento cognitivo humano, acumulando
experiências próprias e extraindo delas aprendizados – se torna possível que robôs
inteligentes ajam de forma independente e tomem decisões de forma autônoma.
Nessa perspectiva, em que há uma maior preocupação com casos em que a
máquina ou sistema se torne autossuficiente, surge uma discussão relevante sobre
a possibilidade de se criar uma espécie de personalidade jurídica para esses robôs
autônomos e inteligentes.
Dessa forma, considerando que robôs gradativamente conseguem efetuar
atividades que, de forma geral, costumavam ser realizadas exclusivamente por
humanos (como cuidar de idosos e pessoas doentes; dirigir carros; fazer cirurgias e
etc.) e que possuem cada vez mais autonomia e certas habilidades decorrentes de
aprendizado, tomando decisões praticamente de forma independente (sendo
capazes de,por si próprios, criar comandos sem que sejam programados para
tanto), tornou-se urgente discutir a responsabilidade jurídica decorrente de uma
conduta lesiva por parte deles.
O desenvolvimento da inteligência artificial implica na reflexão de que, a
depender da situação, a máquina não mais pode ser tratada como mero objeto do
direito, o que remete à observação do conceito de pessoa jurídica e se esta seria
uma alternativa compatível com a integral reparação de danos.
De fato, não há dúvidas que quanto maior for a autonomia do robô, menos
deveremos encará-lo como um instrumento, uma ferramenta, na mão de outros
intervenientes como o fabricante, o operador, o proprietário, o utilizador e etc.
Identificar o grau de autonomia e inteligência dessas máquinas será essencial para
se estabelecer o regime de responsabilidade a ser aplicado.
Assim, se mostrará necessário o desenvolvimento de um sistema de
responsabilidade civil diferenciado, que englobe os diversos agentes relacionados
ao dano causado pela máquina e que leva em consideração alguns fatores, como o
grau de participação do agente na cadeia causal, o tipo de tecnologia utilizado, e o
grau de autonomia e conhecimento científico (estado da técnica) da época.
Ante a complexidade das questões relacionadas à responsabilização civil por
danos causados por robôs, o Parlamento Europeu, no início do ano de 2017, adotou
uma Resolução com recomendações sobre regras de Direito Civil e Robótica[2], que
indica a necessidade de se regular o desenvolvimento de robôs autônomos e
inteligentes, além de sugerir que se crie uma personalidade jurídica para tais robôs
e que haja o estabelecimento de uma espécie de seguro obrigatório (conforme já
ocorre, por exemplo, com veículos tradicionais). Num momento posterior, irá se
fazer uma análise mais aprofundada da proposta de regulação da União Europeia
para melhor compreensão do tema.
Examinado esse panorama, destaca-se o papel do direito enquanto complexo de
normas sistematizadas que regula e pacifica as relações sociais, e a necessidade de
sua constante reestruturação, principalmente por causa da relação simbiótica
existente com a tecnologia.
Nesse sentido, ele deve atuar de forma a, de um lado, não desestimular o
desenvolvimento econômico e tecnológico em crescimento, garantindo
previsibilidade de que regras devem ser aplicadas (segurança jurídica) e, de outro,
evitar que danos ocasionados pela utilização de tecnologias de inteligência artificial
fiquem sem reparação, coibindo abusos e protegendo direitos fundamentais. A
regulação deve vir não só para resguardar os direitos das partes relacionadas, mas,
sobretudo, o da própria sociedade.
Diante dessa necessidade de se compreender e buscar soluções referentes à
responsabilização civil por atos autônomos de inteligência artificial, o primeiro
tópico deste artigo é destinado a traçar um breve panorama da responsabilidade
civil no ordenamento jurídico pátrio, como forma de se observar sua possível
inflexibilidade e insuficiência frente à demanda da reparação por atos de robôs
autônomos.
O segundo tópico será um exame mais detalhado da proposta de regulação da
União Europeia no que diz respeito à responsabilização decorrente de atos
autônomos de máquinas que utilizam inteligência artificial, observando as
sugestões dadas e as discussões a ela correlatas. Nesse ponto, será abordada
principalmente a discussão acerca da viabilidade e eficácia de se atribuir
personalidade jurídica ao robô autônomo e como seria a forma de reparação de
danos a ser utilizada.
Por fim, o terceiro e último tópico é destinado a tratar dos novos rumos da
responsabilidade civil, trazendo uma análise dos meios alternativos, inclusive já
utilizados em outros países, como estímulo à inovação e ao progressivo
desenvolvimento de novas tecnologias.
Responsabilidade Civil no Ordenamento Jurídico Pátrio
Diante do ordenamento jurídico vigente, apenas pessoas físicas ou jurídicas são
titulares de direitos e podem contrair obrigações, trazendo à tona questionamentos
acerca da reparação civil por danos decorrentes de atos de sistemas autônomos de
inteligência artificial, já que se caracterizam pela tomada de decisões independente
e muitas vezes imprevisível ao programador ou proprietário.
Nesse sentido, vale observar que a inteligência não é tratada como entidade
autônoma, detentora de personalidade jurídica, e, portanto, ainda não pode ser
responsabilizada civilmente pelos atos praticados de forma independente – sem
controle prévio ou previsibilidade – restando o questionamento sobre quem será
responsabilizado pelos danos oriundos de tais atos.
Para tanto, deve-se analisar os regimes de responsabilidade civil existentes para
saber se estes são suficientemente flexíveis para tratar desses novos conflitos
oriundos da relação entre o sistema de inteligência artificial, robô inteligente, e
humano, mesmo que adaptações sejam feitas para adequá-los a essa nova realidade.
A responsabilidade civil numa visão tradicional consiste na obrigação, imputada
por lei, de reparação de danos causados a outrem, de ordem material ou moral, em
decorrência de uma conduta antijurídica, omissiva ou comissiva. Ela deriva da
concepção de que há uma obrigação originária, de não acarretar danos, e, outra,
sucessiva, no sentido de repará-los. Observa-se que o dano civil causa um
desequilíbrio social, cujo retorno à normalidade passa pela necessidade de
reparação, sendo este o objetivo da responsabilidade civil.
Há quem entenda que pelo fato de a responsabilidade civil atual incidir sobre um
ato voluntário (mesmo não pretendido), cujo resultado é o dano ou riscos de dano
ao direito de outrem, e a inteligência artificial ser produto de uma programação
complexa de algoritmos, e, portanto, desprovida de vontade, discernimento ético
ou sensibilidade social – qualidades inerentes ao ser humano – seria incoerente sua
responsabilização. Assim, caberia ao programador ou empresário que comercializa
ou fabrica o produto arcar com os danos decorrentes dos atos de robôs
inteligentes.
A regra vigente no nosso ordenamento acerca da responsabilidade civil aquiliana
ou extracontratual é a responsabilidade subjetiva, prevista no art. 927 do CC/02,
pautada na comprovação da culpa em qualquer das suas modalidades (imprudência,
negligência ou imperícia) como forma de haver a sua configuração.
Com o decorrer do tempo, no entanto, em função da complexidade das relações
que foram sendo estabelecidas, surgiu a necessidade de se inserir, no ordenamento
jurídico pátrio, situações em que a responsabilidade civil restará configurada
independentemente de culpa, com o intuito de se tutelar a parte hipossuficiente da
relação jurídica e facilitar a reparação integral da vítima, pois se vislumbraria um
ônus muito grande a comprovação da culpa para se obter a reparação do dano.
Dessa forma, o próprio CC estabelece expressamente situações de
responsabilidade objetiva (como no caso de responsabilidade civil do incapaz; dos
donos de animais; do empregador pelos atos do seu empregado, previstos no art.
932), trazendo no art. 927, parágrafo único uma cláusula geral de responsabilidade
objetiva genérica, que estabelece que aquele que desenvolve atividade
essencialmente perigosa – seja porque se centram em bens intrinsecamente
danosos ou porque empregam métodos de alto potencial lesivo – deve arcar com os
riscos de danos a ela inerentes sem necessidade de comprovação de culpa.
Outros diplomas legais, como o CDC, preveem outras hipóteses de
responsabilidade objetiva. A larga aplicação da legislação consumerista (no que se
refere aos artigos 12, 14 e 18 do CDC) consolidou a responsabilização objetiva
fundada na teoria do risco da atividade, segundo o qual devem suportar os efeitos
maléficos da atividade aqueles que recebem seu bônus, principalmente quando a
atividade desenvolvida é passível de causar prejuízos a terceiros. Assim, as pessoas
jurídicas que desenvolvem atividade empresária passaram a ser responsabilizadas
objetivamente pelos danos causados.
Dessa forma, paralelamente ao CC que trata das relações privadas não abrangidas
pela relação de consumo, está o CDC que estipula dentre os direitos básicos do
consumidor (art. 6º) o direito à vida, saúde e segurança contra os riscos provocados
por práticas no fornecimento de produtos e serviços. Nesse sentido, existe um
movimento de defesa da necessidade de se compreender a responsabilidade civil
das inteligências artificiais sob uma ótica consumerista, tendo em vista que as
relações entre fornecedor e consumidor envolvendo produtos dotados de
inteligência artificial estariam sob a égide do CDC.
No direito consumerista brasileiro temos como regra geral a responsabilidade
civil objetiva daqueles envolvidos com o fornecimento de um produto ou serviço
que ocasionou algum dano ao consumidor. A noção de defeito que caracteriza essas
hipóteses baseia-se na ideia de legítima expectativa de segurança. Dessa forma, o
serviço ou produto é defeituoso se não fornecer a segurança esperada ao
consumidor, levando em consideração as circunstâncias do caso concreto, o
resultado e os riscos que razoavelmente dele se esperam.
Corroborando com essa proteção, o art. 8º estipula que produtos e serviços
colocados no mercado de consumo não devem acarretar riscos aos consumidores,
exceto os considerados normais e previsíveis em decorrência da sua natureza ou
fruição – o que pode ser considerado um conceito extremamente aberto a ser
delimitado pelo operador do direito –, obrigando-se os fornecedores a prestar as
informações necessárias e adequadas a esse respeito.
Aqui vislumbra-se um ponto muito delicado quando se trata de inteligência
artificial, porque considerando a sua capacidade de acumular experiências e dela
extrair aprendizados, há possibilidade de que, ao agir autonomamente, a
ferramenta pratique atos não cogitados pelo seu fabricante e/ou programador.
Dessa forma, ainda que empregada a máxima diligência, os desdobramentos da
inteligência artificial não são totalmente previsíveis no atual estado da técnica, de
forma que seu desenvolvimento poderá extrapolar previsões iniciais.
Assim, questiona-se se seria possível ao fornecedor prever os riscos esperados
pela comercialização da inteligência artificial, tendo em vista ser intrínseco ao
produto a sua capacidade de autoaprendizagem e desenvolvimento, podendo
alcançar, portanto, objetivos e resultados não previstos. Se a resposta for negativa e
as ferramentas dotadas de inteligência artificial não fornecerem a segurança
exigida, não podem entrar no mercado de consumo? Isso não desestimularia o
desenvolvimento de novas tecnologias e inovação, já que muito sistemas precisam
de treinamento empírico para se desenvolver e aperfeiçoar?
Assim, indaga-se se seria possível a arguição, em contrapartida, do risco do
desenvolvimento para afastar a responsabilidade do fabricante ou proprietário de
tecnologias dotadas de inteligência artificial[3]. Essa tese consiste na possibilidade
de que um determinado produto ou serviço seja colocado no mercado sem que
possua defeito cognoscível, ainda que exaustivamente testado, ante ao grau de
conhecimento disponível à época da sua introdução. Ocorre, todavia, que após
determinado período do início da sua circulação no mercado de consumo, venha se
detectar defeito – ante a evolução dos meios técnicos e científicos – capaz de gerar
danos aos consumidores. Assim, os riscos só vêm a ser descobertos após um
período de uso do produto, seja em razão de acidentes ou danos, ou de avanços nos
estudos e testes realizados.
Em razão da condição narrada, há quem entenda que, nessa hipótese, deveria
haver a exclusão da responsabilidade do fornecedor como medida para se garantir
o desenvolvimento tecnológico nesta seara. A ideia central é a de que o dano
ocorreria não porque o fornecedor falhou nos seus deveres de segurança e
diligência, mas sim porque a incognoscibilidade do defeito era absoluta diante do
presente estado da técnica.
Diante disso, não haveria frustação da legítima expectativa do consumidor,
porque nenhuma expectativa deveria ser considerada legítima se pretende ir além
do estado mais avançado da tecnologia da sua época. Por outro lado, há quem
entenda que sua aplicação poderia acabar permitindo que o consumidor arcasse
sozinho com a incerteza da tecnologia adquirida. Além de não ter plena consciência
dos riscos e do grau de conhecimento alcançado pela ciência, ele ainda assumiria
integralmente os danos que viesse a sofrer decorrentes do uso normal do produto
ou serviço.
Isso pareceria contraditório para o ordenamento jurídico brasileiro, porque
existiriam danos sem reparação, ferindo até mesmo o neminem laedere (dever geral
de não causar danos a outrem), uma vez que o legislador se preocupou em
estabelecer responsabilidade independentemente de culpa, reconhecendo a
vulnerabilidade dos consumidores de bens e serviços.
Vale lembrar que existem casos excepcionais em que o CDC (art. 12, §3º) prevê a
não responsabilização do fabricante, destacando-se a culpa exclusiva do
consumidor ou de terceiro, podendo ser utilizada como excludente de
responsabilidade do fornecedor ou desenvolvedor do produto que utiliza
inteligência artificial.
Além dessa excludente, indica-se outra aplicável à responsabilidade objetiva que
também rompe o nexo casual, sendo o caso fortuito fato inevitável que se mostra
como causa necessária para a ocorrência do dano. Quando a responsabilidade
objetiva é fundada na teoria do risco, relevante se faz diferenciar o fortuito interno
do externo, já que o interno não exonera a obrigação de reparar, porque está
vinculado aos objetivos da atividade causadora do dano.
Nas hipóteses em que se configura a responsabilidade objetiva, ou seja, onde se
verifica a conduta ilícita, o dano material ou moral, bem como o nexo causal entre a
conduta e o dano, e impõe-se o dever de indenizar capaz de restaurar o status quo
ante, ou ao menos compensar o dano sofrido e evitar a prática de novos ilícitos.
Transportando as noções de responsabilidade civil do ordenamento jurídico
brasileiro para o âmbito da inteligência artificial, tendo em vista que atualmente ela
não é considerada uma entidade autônoma que possui personalidade jurídica e,
portanto, não seria diretamente responsável pelos próprios atos, a responsabilidade
civil objetiva em decorrência do seu uso, inevitavelmente acabará recaindo, pelo
menos num momento anterior à regulação específica do tema, sobre o empresário
que a produz e aufere lucros, com fundamento no risco da atividade.
É evidente que a opção pela responsabilização objetiva, quando levada ao
extremo, acarreta um desestímulo ao desenvolvimento tecnológico, científico e à
inovação. Deve-se observar que se o empresário faz uma análise de custo-
benefício, sopesando vantagens e desvantagens na utilização da inteligência
artificial e chega à conclusão que os riscos ultrapassam os benefícios econômicos
pretendidos, ele deixará de investir nessa seara. Esse risco se mostra ainda mais
evidente quando a máquina age de maneira autônoma, independente, sem
interferência e/ou controle externo, desenvolvendo novos comandos não contidos
na sua programação original, já que seu comportamento deixa de ser previsível,
impossibilitando a prevenção de danos.
Vale ressaltar que, se em face do empresário seria possível aplicar a teoria do
risco, o mesmo não ocorre quanto ao programador, já que este só poderia ser
responsabilizado subjetivamente (por ser profissional liberal). Ou seja, ele só
poderia ser responsabilizado quando comprovada a ocorrência de falha na
programação ou a previsibilidade quanto à conduta lesiva (ainda que não
programada)[4]. Vale observar, no entanto, que só seria necessário perquirir a
responsabilidade do programador quando este não estivesse vinculado a nenhuma
sociedade empresária, já que esta responderia de forma objetiva.
Outra situação a ser solucionada é a que envolve apenas pessoas físicas, já que há,
como regra, a aplicação da responsabilidade subjetiva. Dessa forma, uma vez não
demonstradaa culpa de uma das partes no dano ocasionado em razão do uso de
inteligência artificial, a vítima não será indenizada pelos prejuízos sofridos e,
portanto, o dano ficaria sem reparação.
Neste ponto, no entanto, a depender do caso concreto e do grau de autonomia da
máquina, se entendermos a inteligência artificial como ferramenta, poderia ser
aplicada conforme se vê da regulação da União Europeia (que analisaremos à
seguir) a responsabilização por fato de terceiro, já que se evidenciaria um dever de
cuidado, cautela, fazendo surgir a responsabilização objetiva. Porém, à medida em
que o grau de autonomia do sistema de inteligência artificial fosse maior, essa
solução se mostraria incompatível, assim como as demais soluções tradicionais
encontradas no ordenamento jurídico pátrio.
Há ainda a hipótese de Inteligência artificial construída a partir de softwares
livres, que podem ser usados livremente, adaptados e melhorados, de modo que
com o decorrer do tempo diversas pessoas ao redor do mundo podem contribuir
para a sua programação e para o desenvolvimento de suas funcionalidades, o que
torna a identificação do programador um desafio, assim como a reparação de
danos.
Diante de todo o exposto, observa-se que o sistema de responsabilização
atualmente em vigor no Brasil apenas se adequa àqueles casos em que os sistemas
de inteligência artificial não tenham alcançado um nível de autonomia que lhes
permita desempenhar comandos não programados.
Assim, premente se faz analisar alternativas de regulação para a responsabilidade
civil por atos independentes da inteligência artificial – discussão ainda incipiente
no Brasil –, utilizando como referência a abordagem já iniciada no âmbito da União
Europeia, já que o Parlamento Europeu em 2017 editou uma resolução com
recomendações sobre o tema, assim como outras propostas adotadas
internacionalmente.
Proposta de Resolução da União Europeia
Conforme citado anteriormente, o Parlamento Europeu, em razão da complexidade
da atribuição de responsabilidade pelos danos causados por robôs, editou, no início
de 2017, uma Resolução com recomendações (a serem integradas às legislações dos
seus Estados-membros) sobre regras de Direito Civil e Robótica, com o intuito de
estabelecer princípios éticos básicos para o desenvolvimento, a programação e a
utilização de robôs e da inteligência artificial.
Os danos decorrentes do desenvolvimento de sistemas de inteligência artificial,
como carros autônomos e outros robôs inteligentes, foram a mola propulsora para
a adoção de tal Regulamento, servindo de ponto de partida para a busca de uma
resposta razoável ao se realizar a seguinte pergunta: quem responde pelos danos
causados por um robô inteligente?
A Resolução leva em consideração, logo na sua exposição de motivos, o fato de
que em alguns anos a inteligência artificial pode ultrapassar a capacidade
intelectual humana, de forma que a própria aptidão do criador em controlar a sua
criação seja questionada. Essas e outras razões levariam a uma preocupação quanto
à responsabilização civil.
Indica-se, assim, a necessidade de se regular o desenvolvimento de robôs
autônomos e inteligentes, inclusive, com a recomendação (até certo ponto
imprevisível) de que se crie uma espécie de personalidade jurídica própria para tais
robôs.
Além disso, o Parlamento Europeu, diante da complexidade da atribuição de
responsabilidade civil por atos autônomos decorrentes da inteligência artificial,
sugeriu o estabelecimento de um regime de seguros obrigatórios (para fabricantes
e usuários da tecnologia), conforme já ocorre, por exemplo, com veículos
automotores tradicionais.
Esses seguros abrangeriam danos decorrentes de atos autônomos do sistema e
não só os decorrentes de atos e falhas humanas, levando-se em consideração todos
os elementos potenciais da cadeia de responsabilidade. Esse regime de seguros
seria, ainda, complementado (à semelhança do que ocorre com os veículos
tradicionais), por um fundo de garantia de danos para arcar com os casos não
abrangidos por qualquer seguro[5].
Recomendou-se, na Resolução, que independentemente da solução jurídica
encontrada para a questão da responsabilidade civil pelos danos causados por
robôs, na hipótese de danos extrapatrimoniais não seria admitida ao instrumento
normativo que estabelece qualquer limitação em relação ao tipo de lesão, extensão
dos danos e forma de reparação. Declarou-se, de início, que uma vez identificadas
as partes as quais caberia a responsabilidade, esta deveria ser proporcional ao nível
de autonomia do robô e de instruções dadas a ele, na medida em que, quanto maior
fosse sua capacidade de aprendizagem e autonomia e mais longo o seu
treinamento, maior seria a responsabilidade de quem o treinou (usuário ou
proprietário).
Levando-se em consideração os riscos, a corrente prevalente, pelo menos como
ponto de partida, principalmente quanto aos atos de inteligência artificial que
infirmem previsibilidade ao fabricante e/ou proprietário, ou seja, que não possuam
ainda efetiva autonomia, defende a aplicação da responsabilidade objetiva de quem
está em uma melhor posição para oferecer garantias e arcar com prejuízos, em uma
concepção alinhada à gestão de riscos.
Observa-se, desde logo, que as conclusões da Resolução não se afastam dos
avanços da responsabilidade civil, que desloca o enfoque do ato ilícito de quem
causa o prejuízo para o dano de quem injustamente o suporta, de modo a se
alcançar a finalidade precípua da reparação, a distribuição das consequências
econômicas geradas pelo evento danoso.
A perspectiva de que o desenvolvimento da Inteligência artificial possa culminar
em robôs autônomos, que se tornem ou sejam autoconscientes, alinhada à atual
Teoria Geral da responsabilidade civil que preconiza, como regra, que responde
pelo dano aquele que dá causa por conduta própria, são razões que justificam a
solução aventada pelo Parlamento Europeu, defendida por alguns autores da
doutrina, de se criar os agentes artificiais um estatuto jurídico próprio, uma espécie
de personalidade jurídica para o robô em si, chamada por vezes de “e-personality”
ou “personalidade eletrônica”[6].
Os países da civil law, de uma maneira geral, atribuem responsabilidade e
consequente dever de compensar danos ao infrator ou alguma pessoa que seja
responsável pelas ações do infrator (como nos casos de responsabilidade por ato de
terceiro). Se a inteligência artificial for totalmente autônoma, realizando ações de
forma independente e sem comando prévio para tanto, pode-se supor que ela deve
ser ciente das suas ações, podendo, portanto, ser responsabilizada por elas.
O reconhecimento pelo direito da inteligência artificial como entidade autônoma
significa que esta terá direitos e um conjunto de deveres correspondentes, que
devem ser debatidos com mais profundidade. Direitos e deveres só são atribuídos a
pessoas, sejam naturais ou jurídicas. Assim, para que a inteligência artificial seja
responsável por suas ações, devemos atribuir-lhe personalidade jurídica. Isso
significa que os legisladores devem rever o arcabouço legal existente e adaptá-lo às
necessidades mutáveis da sociedade. A regulação estipulada deverá, ao menos, a
princípio, conter normas fundamentais, genéricas e princípios gerais do direito, de
modo que não necessite de constantes alterações conforme haja mudanças na
tecnologia.
O que se observa, assim, é a proposta de se criar um estatuto jurídico específico
para os robôs a longo prazo, na medida em que, ao menos os robôs autônomos mais
sofisticados possam se enquadrar juridicamente como detentores do estatuto de
pessoas eletrônicas, responsáveis por sanar quaisquer danos que eventualmente
venham causar. E, se for o caso, atribuir personalidade eletrônica nas hipóteses em
que os robôs tomem decisões autônomas (sem programação prévia para tal) ou em
que interajam por qualquer outro modo com terceiros de forma independente.
Muitos estudiosos ainda se questionam se atribuir personalidade jurídica a um
robô inteligente é efetivamente omelhor caminho para a responsabilização ou se a
adaptação dos meios de responsabilização civil já existentes seria suficiente, tendo
em vista que se verifica a personalidade sob um viés estritamente patrimonial, sem
uma análise mais aprofundada dos desdobramentos dessa solução jurídica, do que
seria um robô inteligente e do seu estatuto jurídico.
Nesse sentido, Carlos Affonso Souza, explicita:
No cenário europeu, impulsionado por indagações sobre responsabilidade, a
questão da personalidade aparece muito mais ligada à construção de um
mecanismo de reparação à vítima de danos do que como resultado de uma
discussão mais aprofundada sobre o que é um robô inteligente e seu
estatuto jurídico de forma mais abrangente.[7]
Uma questão interessante para a compreensão da proposta realizada é perquirir a
razão de um ordenamento jurídico conferir personalidade jurídica a uma entidade.
Se, de um lado temos as pessoas físicas, que naturalmente são detentoras de
personalidade jurídica, de outro, temos situações em que o ordenamento jurídico
confere ao ente personalidade jurídica autônoma, como é o caso das sociedades,
associações e fundações. Se no nosso ordenamento se considerou razoável conferir
personalidade jurídica a uma fundação, em razão do deslocamento de um
patrimônio, não seria razoável conceder a um robô autônomo?
Aí entra a discussão de se a solução de se estabelecer um estatuto jurídico
próprio para a inteligência artificial como pessoas jurídicas, as dotando, assim, de
personalidade jurídica, seria mesmo a resposta jurídica adequada sob o âmbito da
responsabilidade civil.
Salienta-se que houve muitas críticas[8] a essa recomendação feita pelo
Parlamento Europeu por ser considerada uma concepção ligada excessivamente à
ficção científica e que não acarretaria benefícios à efetivação das finalidades da
proposta, de mitigação dos riscos e facilitação da compensação de danos às
possíveis vítimas.
Dessa forma, essa questão referente à personalidade jurídica dos robôs
autônomos, diante da necessidade de mudança radical legislativa, de se pensar as
repercussões jurídicas e se essa seria a melhor resposta à reparação de danos,
acabou se restringindo a uma hipótese a ser debatida no futuro.
Efetivamente, no entanto, projetos legislativos mais avançados sobre a matéria,
como o ROBOLAW (título completo: Regulating Emerging Robotic Technologies in
Europe: Robotics Facing Law and Ethics)[9], ao buscar compreender se é necessária
nova regulamentação ou se os problemas colocados pelas tecnologias robóticas
podem ser tratados no âmbito das leis existentes, não atribuem responsabilidade
jurídica à inteligência artificial, tratando-se de questão, ainda, eminentemente
teórica.
Portanto, no litígio por danos, a inteligência artificial não poderia ser reconhecida
como uma entidade dotada de personalidade jurídica para a compensação de danos.
No entanto, nos termos da lei, uma situação em que os danos não são compensados
não é admitida. O sistema legal atribui responsabilidade aos responsáveis pela lesão.
Mas se a Inteligência Artificial não for uma pessoa jurídica, quem deverá compensar
os danos causados por ela?
Vale observar, primeiramente, o artigo 12 da Convenção das Nações Unidas sobre
o Uso de Comunicações Eletrônicas em Contratos Internacionais que determina
que uma pessoa (seja física ou jurídica) em cujo nome um computador foi
programado deve ser responsável por qualquer mensagem gerada pela máquina.
Assim, a negociação estabelecida pelo sistema de inteligência artificial é
considerada perfeita, e válida sua manifestação de vontade, bem com as obrigações
daí advindas, sem, contudo, haver o reconhecimento da sua personalidade jurídica,
atribuindo a responsabilidade pelos seus atos à pessoa em cujo nome agiu.
Esta concepção está de acordo com a ideia da inteligência artificial como
ferramenta, devendo ser atribuída a responsabilidade ao responsável por ela, uma
vez que a ferramenta não possui vontade própria, independente. Dessa forma, se
aplicaria a responsabilidade objetiva pelos atos dessa máquina, vinculando a pessoa
física ou jurídica em nome da qual ela atua, independentemente de tal conduta ter
sido planejada ou prevista.
Para alguns autores como Pagallo[10], a responsabilidade, no âmbito dos contratos,
dos direitos e obrigações estabelecidos por meio da IA, é geralmente interpretada
do ponto de vista jurídico tradicional, que define a IA como ferramenta (AI-as-tool
ou robot-as-tool).
Isso significa vincular a responsabilidade objetiva pelo comportamento da
máquina à pessoa física ou jurídica em nome de quem ela age ou que está a
supervisionando – usuários e proprietários –, independentemente de tal
comportamento ser planejado ou previsto, com consequências similares à
responsabilidade vicária[11], que justifica a responsabilidade daqueles que possuem
dever de vigilância ou controle (como a responsabilidade dos pais perante os atos
dos filhos ou do empregador pelos atos dos seus empregados). No direito pátrio
corresponde à responsabilidade por ato de terceiro, prevista no art. 932 do CC.
Vale salientar que a inteligência artificial como ferramenta implicaria reconhecer
responsabilidade distinta a depender de que está fazendo seu uso. Se é utilizada
por empresas para prestar serviços ou oferecer produtos, situação em que a
inteligência artificial age em nome do fornecedor, ele responde; se, por outro lado,
é empregada pelo usuário para desempenhar determinadas atividades sob a
supervisão deste, ele responde. A justificativa para isso se dá pela constatação de
que se a inteligência artificial tem, efetivamente, a capacidade de aprender com sua
própria experiência, surge para o proprietário ou usuário um dever de vigilância,
pois é quem seleciona ou proporciona experiências à inteligência artificial.
A Resolução[12], faz menção a essa hipótese, especialmente quando as partes
responsáveis por “ensinar” os robôs, cujos atos causarem danos, acabarem por
serem identificados, confirmando a possibilidade de se determinar que a
responsabilidade de quem o “treinou” seja proporcional ao nível efetivo de
instruções dadas e da autonomia da inteligência artificial, de modo que quanto
maior a capacidade de aprendizagem ou de autonomia e quanto mais longo o
treinamento, será maior a responsabilidade do seu “treinador”, o que qualificaria o
mal uso da tecnologia pelo proprietário ou usuário. Havendo possibilidade de agir
regressivamente contra o fabricante ou criador, quando demonstrado que o defeito
já existia.
Assim, vale observar, ainda, que as aptidões resultantes do “treinamento” do robô
não devem se confundir com aquelas estritamente dependentes da sua capacidade
de autoaprendizagem, quando se procurar identificar a pessoa que deve responder
pelo comportamento danoso do robô, o usuário ou o criador.
Casuisticamente, portanto, os danos causados pela IA poderiam atrair as
disposições sobre a responsabilidade pelo produto, conforme abordado
anteriormente. No âmbito da União Europeia, a solução apresentada está de acordo
com o convencionado na Diretiva 85/374/CEE do Conselho, de 25 de julho de 1985,
sobre a responsabilidade pelo produto defeituoso, que possibilita a aplicação da
teoria do risco do desenvolvimento[13], como excludente de responsabilidade do
fabricante ou criador.
Questiona-se, neste âmbito se os danos decorrentes dos atos autônomos dos
robôs inteligentes poderiam ser abrangidos pelo risco do desenvolvimento ou se os
fabricantes ou criadores deveriam responder pelo fato do produto, mesmo se a
máquina agisse de forma inesperada, como forma de possibilitar a reparação da
vítima.
Essa segunda é a opinião de alguns autores[14], especialmente quanto à
responsabilização pelos acidentes causados por carros autônomos. Para essa
corrente adota-se a premissa de que há presunção de que qualquer dano causado
pela inteligência artificial é resultado de falha humana (seja no projeto, fabricação,
montagem ou dever de informação).
ČERKA et al.[15] ressaltam o fato de que a responsabilizaçãopor fato do produto
aos casos em que a IA causar danos deve gerar um ônus probatório extremamente
gravoso a quem incumbir, justamente por causa da sua característica essencial: a
autoaprendizagem conforme as suas experiências e a capacidade de tomar decisões
autônomas. Se a inteligência artificial é um sistema de autoaprendizagem, por este
motivo pode ser impossível traçar a tênue linha entre os danos resultantes do
processo da autoaprendizagem próprio da inteligência artificial e o defeito
preexistente, decorrente da fabricação produto.
Trata-se de consenso doutrinário o fato de que a inteligência artificial apresenta
riscos, provavelmente um risco excepcional, podendo ser considerada inerente à
própria natureza da tecnologia, haja vista sua falta de limites e previsibilidade.
Por tais razões, a Resolução entendeu que o atual enquadramento jurídico não
seria suficiente para comportar as hipóteses de danos causados por robôs
autônomos, mais sofisticados, em virtude das suas eventuais capacidades
adaptativas e de aprendizagem que inferem na imprevisibilidade do seu
comportamento[16].
A Resolução, então, sugere que os futuros instrumentos legislativos devem
basear-se numa avaliação da Comissão de Direito Civil sobre Robótica,
determinando-se que deve ser aplicada a responsabilidade objetiva pela abordagem
da gestão de riscos. Se exigiria, pois, a prova de que ocorreu o dano e o
estabelecimento de uma relação de causalidade entre o funcionamento do robô e
os danos sofridos pela parte lesada. Por essa abordagem de gestão de riscos a
responsabilidade não se concentra em quem atuou de forma negligente, como
responsável individualmente, mas como a pessoa capaz de minimizar os riscos e
lidar com os impactos negativos.
Nesse ponto, é interessante a abordagem da teoria Deep-Pocket, conforme
denominação definida no direito norte-americano. Por meio da sua aplicação, toda
pessoa envolvida em atividades que apresentem riscos, mas que ao mesmo tempo
são lucrativas e úteis para a sociedade, deve compensar os danos causados pelo
lucro obtido. Seja o criador da inteligência artificial, o fabricante de produtos que
empregam inteligência artificial, empresa ou profissional que não está na cadeia
produtiva da inteligência artificial, mas que a utiliza em sua atividade (como
transportadora que utiliza carros autônomos) – isto, é, aquele que tem “bolso
profundo” e usufrui dos lucros advindos dessa nova tecnologia – deve ser garante
 dos riscos inerentes às suas atividades, sendo exigível, inclusive, que se faça um
seguro obrigatório de danos[17].
Diante da complexidade de se atribuir responsabilidade pelos danos causados por
robôs inteligentes, a Resolução sugeriu o estabelecimento de um regime de seguros
obrigatórios (conforme já acontece, por exemplo, com carros tradicionais), que
deverá impor aos criadores ou proprietários de robôs a subscrição de um seguro
para cobrir danos que vierem a ser causados pelos seus robôs, sugerindo, ainda,
que esse regime de seguros seja complementado por um fundo de compensação,
para garantir, inclusive, a reparação de danos não abrangidos por qualquer seguro.
[18]
Novos Rumos da Responsabilidade Civil: caminhos
alternativos como estímulo à inovação
Diante da possibilidade, de num futuro próximo, se observar eventos danosos
provocados autonomamente pela inteligência artificial, tornando-se incongruente a
responsabilização de uma pessoa natural ou jurídica e impossível a compensação do
dano sofrido, vem à tona a discussão acerca da personificação da inteligência
artificial e/ou outras tentativas de se encontrar meios alternativos de
responsabilização civil nestes casos.
No contexto dos Estados Unidos, em relação à moderna legislação que abrange a
limited liability company (LLC) o autor Shawn Bayern, em seu artigo “The
implications of modern business-entity law for regulation of autonomous systems”,
indica a possibilidade de as LLCs servirem de roupagem jurídica para que sistemas
autônomos de inteligência artificial possam legalmente agir de forma autônoma.
Diante da sua flexibilidade, a legislação permitiria, segundo o autor, a constituição
de pessoas jurídicas sem membros, cujas ações são estipuladas contratualmente ou
por meio de algoritmos.
Nesse sentido, vale transcrever um trecho da obra do autor[19]:
“Specifically, modern LLC statutes in the United States appear to permit the
development of “memberless” legal entities – that is, legal persons whose
actions are determined solely by agreement or algorithm, not in any ongoing
fashion by human members or owners. Such autonomous legal entities are a
strong candidate for a legal “technology” or technique to respond to
innovations in autonomous systems. Such memberless entities can
encapsulate a physically autonomous system and provide a mechanism for
that system to take legally autonomous action”.
Compartilhando da mesma essência das LLCs, paralelamente, estão as organizações
autônomas descentralizadas (DAO – Decentralized autonomous organization[20]),
que também não são reconhecidas legalmente no Brasil, mas já existem na prática,
tendo suas regras estipuladas a partir de programas de computador, gerando
contratos inteligentes.
Verifica-se, portanto, uma tendência de se possibilitar que a inteligência artificial
seja abarcada por figuras jurídicas já existentes com alguma adaptação, apesar de
representar uma realidade completamente nova e sui generis, ou de se criar
entidades de inteligência artificial, com estatuto jurídico próprio, implicando na
necessidade de regulação.
Em relação à última hipótese, vale ratificar que os problemas enfrentados quanto
à possível personificação da inteligência artificial não são inéditos, uma vez que
também existiam quando do surgimento das sociedades, enquanto entidades
imateriais (ficção jurídica). Como consequência da relevância dessas entidades para
a sociedade, diante do estabelecimento de relações jurídicas com particulares e
com o próprio Estado, que o direito passou a reconhecê-las como pessoas jurídicas,
com personalidade jurídica própria, independente daquela de seus membros.
Diante dessa reflexão, pode-se averiguar que há possibilidade de estarmos diante
de processo evolutivo assemelhado quando se trata de inteligência artificial, já que
incumbirá ao direito, num futuro não distante, encontrar uma solução, evitando-se
de um lado que o dano fique sem reparação e, de outro, que a regulação prejudique
o desenvolvimFento tecnológico, científico e de inovação[21], prejudicando a
sociedade como um todo, diante dos evidentes benefícios que a inteligência
artificial pode trazer.
Se a opção realizada for a da personificação da inteligência artificial com a
extensão do conceito de pessoa jurídica, possibilitando a abrangência de robôs e
sistemas inteligentes, haverá a necessidade de se designar uma autoridade
certificadora que analise o grau de autonomia dessas máquinas, que justifique a
atribuição de personalidade jurídica própria, bem como a adoção de mecanismos de
prevenção de riscos e de segurança.
Além disso, deverão ser instauradas penalidades para a prática de condutas
ilícitas que desincentivem a reincidência de condutas danosas, podendo consistir
em ferramentas de coerção como multas, bem como indenizações, e até mesmo, na
suspensão temporária de funcionamento ou desativação definitiva do sistema de
inteligência artificial.[22]
Vale ainda, a observação de que deveria ser considerada a possibilidade de
instituição de tributos específicos para tributar esses sistemas autônomos, que
considerem suas peculiaridades, como a diminuição dos postos de trabalho. Além
disso, estas entidades deverão subscrever um seguro que possibilite o
ressarcimento de eventuais prejuízos decorrentes de atos autônomos da
inteligência artificial, de forma a assegurar o cumprimento de suas obrigações.
Por fim, salienta-se que, nenhuma alternativa adotada pelo Direito na regulação
desse tema poderá acarretar o estabelecimento de procedimentos burocráticos,
que impossibilitem o desenvolvimento científicoe tecnológico. O Direito deve atuar
com a finalidade de garantir maior segurança jurídica às relações travadas a partir
da inteligência artificial e estabelecer limites éticos, que inviabilizem o uso
arbitrário desses sistemas autônomos contra a própria sociedade.
Conclusão
Por todo o exposto, podemos chegar à algumas conclusões e questões que devem
ser debatidas com mais afinco pelos operadores do direitoFC, estudiosos da
tecnologia, membros da sociedade civil e governamental, como forma de garantir
um desenvolvimento seguro da inteligência artificial perante à sociedade.
A regulamentação desse tema de forma específica deve ocorrer
preferencialmente após ampla consulta de caráter multisetorial, de preferência,
quando o potencial da tecnologia for mais conhecido. Deve-se considerar as
consultas e propostas regulatórias relevantes de outros países sobre o assunto, bem
como discussões relativas a temas correlatos, como proteção de dados.
Assim sendo, as leis em vigor sobre responsabilidade civil deverão ser submetidas
a testes, devendo haver, provavelmente, adaptações para se adequar à realidade da
inteligência artificial. Salienta-se, desde logo, a importância do debate em relação à
atribuição à máquina de uma personalidade jurídica autônoma , nem que seja para
dotar a mesma de patrimônio para compensar eventuais danos, sendo esta uma
solução a ser discutida e levada em consideração – conforme indicou a Resolução
Europeia –, sendo necessário analisar mais profundamente o que significa dotar
robôs inteligentes de personalidade à luz do nosso ordenamento jurídico e haver
alterações legislativas nesta hipótese.
Neste âmbito, evidencia-se, ainda, a necessidade de que a comunidade técnica
(academia) das ciências do direito e da tecnologia não apenas dialogue entre si, mas
se esforce para que justamente agora, no início da implementação massiva da
inteligência artificial, não sejam propagados conceitos equivocados que promovam
uma regulação inadequada.
É evidente que a inteligência artificial ainda não encontra parâmetros teóricos
muito bem definidos e que inúmeros danos podem dela derivar. É premente,
portanto, a necessidade de avanços na temática para se determinar a quem deverá
ser imputada a responsabilidade, principalmente, quando a inteligência artificial
executa atos de forma autônoma.
Conclui-se, de todo modo, pela necessidade de adoção de métodos que
possibilitem a minimização e compensação dos danos decorrentes dos atos
executados por inteligência artificial, utilizando, por exemplo, a sugestão aventada
pelo Parlamento Europeu, de instituição de um regime de seguros obrigatórios e
fundo de compensação.
O enfoque da responsabilidade civil deve ser no sentido de compatibilizar a
reparação do dano injusto, como forma de promoção da dignidade humana, com os
avanços da tecnologia e da inovação, estimulando o desenvolvimento de novas
tecnologias que possuem o crescente potencial de melhorar a qualidade de vida das
pessoas na sociedade.
Diante do não reconhecimento da inteligência artificial como pessoa jurídica,
sujeito de direitos e obrigações, para o direito nacional e internacional, de uma
forma geral, ela ainda não pode ser responsabilizada pessoalmente pelos danos que
causa, a não ser que sobrevenham alterações legislativas que tragam esse
reenquadramento jurídico.
Dessa forma, buscou-se analisar as soluções jurídicas existentes, com adaptações
do regime de responsabilidade civil em vigor, principalmente, observando as
recomendações do Parlamente Europeu sobre o tema.
Concluiu-se, portanto, que a adoção da responsabilidade objetiva, seja pela gestão
de riscos, ou pelo vício do produto, visa proporcionar a absorção dos riscos por
aqueles que tem a melhor oportunidade de contratar o seguro, impondo-se até
mesmo a sua obrigatoriedade. No entanto, salienta-se que a responsabilidade
objetiva, se aplicada de forma indiscriminada pode acarretar um desestímulo ao
desenvolvimento científico, tecnológico e à inovação, devendo ser analisada formas
alternativas para evitar que isso ocorra, como, por exemplo, com atribuição de
personalidade jurídica ao robô e a sua própria responsabilização.
Por outro lado, a teoria da inteligência artificial como ferramenta com a
imputação de responsabilidade à pessoa em cujo nome a inteligência artificial age,
ou seja, o usuário ou o proprietário, pode gerar repercussões a serem examinadas,
já que impõe dever de cuidado e vigilância aos “treinadores” da inteligência artificial
ou mesmo uma responsabilidade compartilhada pelos usuários na rede. Essa opção
deve ser vista com cautela, pela dificuldade de se determinar com certeza se a
conduta danosa decorreu simplesmente da autoaprendizagem da máquina de forma
natural, ou se deu pelo “treinamento” dela, através das experiências
proporcionadas. Isso deverá ser amplamente discutido na doutrina no futuro, pela
tendência de se permitir ao usuário o desenvolvimento de suas próprias aplicações
a partir da inteligência artificial de código aberto.
Deve-se continuar analisando essa possibilidade de atribuição da
responsabilidade ao “treinador” que convive de forma harmônica com as demais
teorias, lembrando que conforme abordagem do Parlamento Europeu, a
responsabilização civil decorrente de atos executados pela inteligência artificial
depende da autonomia e instruções dadas ao robô, devendo pelo menos num
primeiro momento, se aplicar em maior grau a responsabilidade objetiva de quem
está mais bem colocado para minimizar riscos e oferecer garantias, havendo a
adoção de seguros obrigatórios para absorver os riscos existentes com a introdução
dessas novas tecnologias no mercado.
Por fim, temos que ter como objetivo principal referente à temática que os
estudos da legislação aplicada à inteligência artificial avancem, permitindo, com
amplo debate e participação multissetorial. Esse avanço deve caminhar para a
adoção de critérios determinados de responsabilização que conciliem o
desenvolvimento científico, tecnológico e de inovação à reparação de danos, de
forma a garantir a segurança jurídica para os usuários e empresários dessa
tecnologia e a promoção da dignidade humana, diante do estabelecimento de
limites éticos que impossibilitem o uso arbitrário dessas novas tecnologias.
Referências bibliográficas
ASARO, Pete M. The Liability Problem for Autonomous Artificial Agents. Disponível
em:
http://peterasaro.org/writing/Asaro,%20Ethics%20Auto%20Agents,%20AAAI.pdf
BARBOSA, Miranda Mafalda. Inteligência artificial, e-persons e direito: desafios e
perspetivas. Congresso Direito e Robótica, organizado pelo grupo de investigação
Contrato e Desenvolvimento Social, no âmbito do projeto UID/DIR04643/2013
«De- safios sociais, incerteza e direito», desenvolvido pelo Instituto Jurídico da
Faculdade de Direito de Coimbra.
ČERKA, Paulius; GRIGIENĖ, Jurgita; SIRBIKYTĖ, Gintarė. Liability for damages
caused by Artificial Intelligence. Computer Law & Security Review, Elsevier, v. 31, n.
3, p. 376-389, jun. 2015.
CHAVES, Natália Cristina. Inteligência artificial: os novos rumos da
responsabilidade civil. Direito Civil Contemporâneo, organização CONPEDI/
UMinho. Disponível em:
https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf
(P. 54 a 72)
PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. A responsabilidade civil
pelos atos autônomos da inteligência artificial: notas iniciais sobre a resolução do
Parlamento Europeu. Revista Brasileira de Pol. Públicas, Brasília, Vol. 7, nº 3, 2017, p.
238-254 Disponível em:
http://peterasaro.org/writing/Asaro,%20Ethics%20Auto%20Agents,%20AAAI.pdf
https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf
https://www.cidp.pt/publicacoes/revistas/rjlb/2017/6/2017_06_1475_1503.pdf
SOUZA, Carlos Affonso; PADRÃO, Vinicius. IA transformará o direito, mas o
direito transformará a IA? JOTA, 26/09/2017. Disponível em:
https://www.jota.info/opiniao-e-analise/artigos/ia-transformara-o-direito-mas-
o-direito-transformara-ia-26092017
SOUZA, CarlosAffonso. O debate sobre personalidade jurídica para robôs. JOTA,
10/10/2017. Disponível em: https://www.jota.info/opiniao-e-analise/artigos/o-
debate-sobre-personalidade-juridica-para-robos-10102017
TEFFÉ, Chiara Spadaccini de. Quem responde pelos danos causados pela IA?
JOTA, 22/10/2017. Disponível em: https://www.jota.info/opiniao-e-
analise/artigos/quem-responde-pelos-danos-causados-pela-ia-24102017
1. Advogada, pós-graduanda em Direito Processual Civil e Direito
Tributário pelo Curso Fórum. Graduada com Láurea Acadêmica
Summa Cum Laude pelo Instituto Brasileiro de Mercado de Capitais
(IBMEC - RJ). ↵
2. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, 16 de fevereiro
de 2017, com recomendações à Comissão de Direito Civil sobre
Robótica (2015/2103(INL)). 2017. Disponível em:
http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//
TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EN#BKMD-12 .
Acesso em: 11/07/2018. ↵
3. Nesse sentido: TEFFÉ, Chiara Spadaccini de. Quem responde pelos
danos causados pela IA? JOTA, 22/10/2017. Disponível em:
https://www.jota.info/opiniao-e-analise/artigos/quem-responde-
pelos-danos-causados-pela-ia-24102017. Acesso em: 23/09/2018. ↵
4. Nesse sentido: CHAVES, Natália Cristina. Inteligência artificial: os
novos rumos da responsabilidade civil. Direito Civil Contemporâneo,
organização CONPEDI/ UMinho. Disponível em:
https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf
(P. 68 e 69). Acesso em: 23/09/2018. ↵
5. Nesse sentido: TEFFÉ, Chiara Spadaccini de. Quem responde pelos
danos causados pela IA? JOTA, 22/10/2017. Disponível em:
https://www.jota.info/opiniao-e-analise/artigos/quem-responde-
pelos-danos-causados-pela-ia-24102017 . Acesso em: 23/09/2018. ↵
6. Nesse sentido: SOUZA, C.A. O debate sobre personalidade jurídica
para robôs: Errar é humano, mas o que fazer quando também for
robótico? Jota. Disponível em: https://www.jota.info/opiniao-e-
https://www.cidp.pt/publicacoes/revistas/rjlb/2017/6/2017_06_1475_1503.pdf
https://www.jota.info/opiniao-e-analise/artigos/ia-transformara-o-direito-mas-o-direito-transformara-ia-26092017
https://www.jota.info/opiniao-e-analise/artigos/o-debate-sobre-personalidade-juridica-para-robos-10102017
https://www.jota.info/opiniao-e-analise/artigos/quem-responde-pelos-danos-causados-pela-ia-24102017
analise/artigos/o-debate-sobre-personalidade-juridica-para-robos-
10102017. Publicado em: 10/10/2017. Acesso em: 20/09/2018. ↵
7. SOUZA, C.A. O debate sobre personalidade jurídica para robôs: Errar
é humano, mas o que fazer quando também for robótico? Jota. Acesso
em: https://www.jota.info/opiniao-e-analise/artigos/o-debate-
sobre-personalidade-juridica-para-robos-10102017 . Publicado em:
10/10/2017. Acesso em: 20/09/2018. ↵
8. NEVEJANS, Nathalie. European civil law rules in robotics. European
Union, 2016. Disponível em: http://www.europarl.europa.
eu/committees/fr/supporting-analyses-search.html. Acesso em: 17
out. 2017. ↵
9. Projeto lançado oficialmente em março de 2012 e financiado pela
Comissão Europeia para investigar formas em que as tecnologias
emergentes no campo de bio-robótica (na qual está incluída a IA),
vem influenciando os sistemas jurídicos nacionais europeus. A
matéria desafia as categorias e qualificações jurídicas tradicionais,
expondo quais os riscos para os direitos e liberdades fundamentais
que devem ser considerados, e, em geral, demonstra a necessidade de
regulação e como esta pode ser desenvolvida no âmbito interno de
cada país. A esse respeito, cf.: PALMERINI, Erica. The interplay
between law and technology, or the RoboLaw. In: PALMERINI, Erica;
STRADELLA, Elettra (Ed.). Law and Technology: The Challenge of
Regulating Technological Development. Pisa: Pisa University Press,
2012. p. 208. Disponível em:
http://www.robolaw.eu/RoboLaw_files/documents/Palmerini_Intro.pdf.
Acesso: 20 de janeiro de 2019. ↵
10. PAGALLO, Ugo. The laws of robots: crimes, contracts, and torts.
Heidelberg: Springer, 2013. ↵
11. “Responsabilidade vicária é o termo utilizado, principalmente nos
países de common law, para designar a responsabilidade do superior
hierárquico pelos atos dos seus subordinados ou, em um sentido mais
amplo, a responsabilidade de qualquer pessoa que tenha o dever de
vigilância ou de controle pelos atos ilícitos praticados pelas pessoas a
quem deveriam vigiar. (...) No direito pátrio, seriam os casos de
responsabilidade pelo fato de terceiro, derivada de um dever de
guarda, vigilância e cuidado, nos termos do art. 932 do Código Civil,
como a responsabilidade dos pais pelos atos dos filhos menores que
estiverem sob o seu poder e em sua companhia, o tutor e o curador
pelos pupilos e curatelados, e o patrão pelos atos dos seus
empregados.” PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi
da. A responsabilidade civil pelos atos autônomos da inteligência
artificial: notas iniciais sobre a resolução do Parlamento Europeu.
Revista Brasileira de Pol. Públicas, Brasília, Vol. 7, nº 3, 2017, p. 238-254
Disponível em:
https://www.cidp.pt/publicacoes/revistas/rjlb/2017/6/2017_06_1475_1503.pdf.
Acesso em: 22/11/2018. ↵
12. UNIÃO EUROPEIA. Projeto de Relatório que contém recomendações à
Comissão sobre disposições de Direito Civil sobre Robótica
(2015/2013(INL)). Relatora Mady Delvaux, de 31 de maio de 2016. p. 11.
Disponível em: http://www.europarl.europa.eu/sides/getDoc.do?
pubRef=-//EP// NONSGML+COMPARL+PE-
582.443+01+DOC+PDF+V0//PT . Acesso em: 22/11/2018. ↵
13. A diretiva poderia ser aplicada em diversas circunstâncias em que
produtos que apresentem a tecnologia da IA sejam introduzidos no
mercado de consumo, particularmente aos casos em que o fabricante
não informa suficientemente ao consumidor os riscos associados aos
robôs autônomos, ou se os sistemas de segurança do robô forem
deficientes a ponto de não oferecerem a segurança esperada. Uma
vez cumpridos os deveres de informação e de segurança impostos ao
fornecedor e provado que não há defeito na sua fabricação,
permanece, porém, a polêmica acerca da aplicação da
responsabilidade pelo produto aos danos causados pela IA, tendo em
vista, ainda, que a diretiva europeia prevê, expressamente, a
excludente da responsabilidade do produtor pelos riscos do
desenvolvimento. PIRES, Thatiane Cristina Fontão; SILVA, Rafael
Peteffi da. A responsabilidade civil pelos atos autônomos da
inteligência artificial: notas iniciais sobre a resolução do Parlamento
Europeu. Revista Brasileira de Pol. Públicas, Brasília, Vol. 7, nº 3, 2017,
p. 238-254 Disponível em:
https://www.cidp.pt/publicacoes/revistas/rjlb/2017/6/2017_06_1475_1503.pdf.
Acesso em: 22/11/2018. ↵
14. Nesse sentido, cf.: VLADECK, David C. Machines without principals:
liability rules and Artificial Intel- ligence. Washington Law Review, n.
89, p. 126, 2014. ↵
15. ČERKA, Paulius; GRIGIENĖ, Jurgita; SIRBIKYTĖ, Gintarė. Liability for
damages caused by Artificial Intelligence. Computer Law & Security
Review, Elsevier, v. 31, n. 3, p. 376-389, jun. 2015. ↵
16. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de
16. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de
fevereiro de 2017, com recomendações à Comissão de Direito Civil
sobre Robótica (2015/2103(INL)). 2017. Disponível em:
http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-
//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EN#BKMD-
12. Acesso em: 22/11/2018. Parágrafo “AH” e “AI”. ↵
17. Nesse sentido: ČERKA, Paulius; GRIGIENĖ, Jurgita; SIRBIKYTĖ,
Gintarė. Liability for damages caused by Artificial Intelligence.
Computer Law & Security Review, Elsevier, v. 31, n. 3, p. 376-389, jun.
2015. ↵
18. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de
fevereiro de 2017, com recomendações à Comissão de Direito Civil
sobre Robótica (2015/2103(INL)). 2017. Disponível em:
http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-
//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EN#BKMD-12
Acesso em: 10 out. 2017. Parágrafos 57, 58 e 59. ↵
19. BAYERN. The implications of modern business-entity law for
regulation of autonomous systems,2015, p. 96. ↵
20. WIKIPEDIA. Organização autônoma descentralizada. Acesso em:
<https://pt.wikipedia.org/wiki/Organiza%C3%A7%C3%A3o_aut%C3%B4noma_descentralizada>
Visto em: 24/01/2019. ↵
21. Nesse sentido: CHAVES, Natália Cristina. Inteligência artificial: os
novos rumos da responsabilidade civil. Direito Civil Contemporâneo,
organização CONPEDI/ UMinho. Disponível em:
https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf
(P. 70). Acesso em: 23/09/2018. ↵
22. Nesse sentido: CHAVES, Natália Cristina. Inteligência artificial: os
novos rumos da responsabilidade civil. Direito Civil Contemporâneo,
organização CONPEDI/ UMinho. Disponível em:
https://www.conpedi.org.br/publicacoes/pi88duoz/c3e18e5u/7M14BT72Q86shvFL.pdf
(P. 71). Acesso em: 23/09/2018. ↵
5. A inteligência artificial e o ecossistema
financeiro
Fernanda Borghetti Cantali[1]
1. Introdução: a mudança de era
A inteligência artificial é uma das tecnologias disruptivas mais impactantes, que
vem transformando indelevelmente os negócios e o modo de ser em sociedade,
ainda que muitas pessoas não a percebam em suas vidas e pensem que ela só existe
no mundo da ficção científica.
Quando se afirma que a sociedade não está passando por uma era de mudanças,
mas por uma mudança de era, não se pretende apenas usar uma frase de efeito.
Klaus Schwab (2016), fundador e presidente executivo do Fórum Econômico
Mundial, defende que a revolução tecnológica pela qual passa a sociedade
atualmente é de tal profundidade que implica em uma nova fase da história da
humanidade, a qual chamou de quarta revolução industrial.
Defende-se que as novas tecnologias não representam apenas mais um aspecto
da terceira revolução industrial, a chamada revolução digital, ligada ao fenômeno da
computação que culminou com o advento da Internet. Três são os fatores que
indicam tratar-se de uma distinta revolução: a velocidade, considerando que as
revoluções anteriores se deram em um ritmo linear e que a atual evolui de forma
exponencial; a amplitude e profundidade, na medida em que a combinação da
revolução digital com as novas tecnologias, como, por exemplo, a inteligência
artificial, implica na alteração de “quem” as pessoas são e não apenas “o que” e
“como” fazem as coisas; e, por fim, o impacto sistêmico, já que transforma sistemas
inteiros, entre países, dentro deles, nas empresas e em toda a sociedade (SCHWAB,
2016, p. 13).
Essa “nova era”, ou quarta revolução industrial, como chamou Schwab (2016), está
principalmente marcada pelo uso de inteligência artificial, desenvolvimento do
aprendizado das máquinas e de uma internet mais ubíqua e móvel, consubstanciada
em sensores menores e mais poderosos.[2] Não é à toa que Andrew Ng (2017), ex-
cientista chefe do Baidu e cofundador do Coursera, impactou o mundo dizendo que
a inteligência artificial é a nova eletricidade. Afirma que a eletricidade transformou
quase tudo há cem anos e que hoje é difícil pensar em algum negócio que não será
transformado em decorrência das aplicações de inteligência artificial.
Um dos sistemas que vem sendo fortemente impactado e será completamente
transformado pelas novas tecnologias em curto espaço de tempo é o financeiro.
Trata-se, sem dúvidas, de campo fértil para as aplicações de inteligência artificial.
Há bem pouco tempo não se cogitaria da existência de robôs investidores ou
mesmo de decisões automatizadas que aproximam financiadores dos empresários
que precisam buscar crédito no mercado. Estes são exemplos, dentre outros tantos,
que podem ser utilizados para demostrar as aplicações de inteligência artificial no
ecossistema financeiro. Análise de mercado, análise de risco, investimento e gestão
da riqueza, planejamento financeiro, representam hoje as principais aplicações de
inteligência artificial nesse mercado, o qual vem também fortemente impactado
pelo surgimento das chamadas fintechs, que nada mais são do que empresas que
unem tecnologia aos serviços financeiros, criando novos modelos de negócios que
afrontam as estruturas dos bancos tradicionais.
Portanto, as questões principais que permeiam este artigo são: como as
aplicações de IA estão mudando o mercado financeiro; como estão mudando os
modelos operacionais das instituições financeiras? A IA está mudando as
prioridades estratégicas e a dinâmica competitiva dos serviços financeiros? Quais
são os desafios decorrentes das aplicações de inteligência artificial no setor
financeiro? Por fim, aplicações de IA podem democratizar o mercado financeiro?
Para refletir sobre os problemas postos, objetiva-se, com o presente artigo,
apresentar as principais aplicações de IA no ecossistema financeiro, tanto no
contexto das fintechs como no dos bancos tradicionais; identificar os principais
desafios associados ao desenvolvimento de aplicações de IA neste ecossistema,
incluindo as consequências da tomada de decisões automatizadas por algoritmos
inteligentes e a reflexão sobre a (in)suficiência da regulamentação existente para
dar conta das novas formas de fazer e de ser nessa nova era.
Os riscos advindos do uso das novas tecnologias são imensos, mas a grande
maioria das pessoas que estudam e refletem sobre estes temas não poupam
esforços em defender que as oportunidades decorrentes dessa revolução
tecnológica podem tornar o mundo melhor e é nesse sentido que se busca fazer
uma análise otimista das aplicações de IA no ecossistema financeiro.
2. Fintechs e os novos modelos de operação dos bancos
tradicionais
As tecnologias financeiras estão mudando os modelos operacionais das instituições
financeiras. Novas prioridades estratégicas e uma dinâmica competitiva vem se
estabelecendo, mudando radicalmente a forma de fazer negócio nesse mercado.
O PayPal, com seu sistema de pagamentos online, iniciou a transformação da
estrutura dos bancos tradicionais pelo uso de tecnologia financeira nos anos 1990.
Até hoje representa uma empresa líder no movimento fintech. (REED, 2016).
Fintech é palavra que resulta da união de financial e technology, significando
simplesmente tecnologia financeira. Jeff Reed (2016, posição 76/78) afirma que:
When the twenty-first century came around, a new financial service emerged,
and it was known as financial technology or FinTech. This term originally was
used to describe the technology that was used by consumers and trades done
by financial institutions. However, at the end of the first decade, of the
twenty-first century, it now includes any technological innovation that has
been made within the financial sector. This includes any innovation that have
been made in education, retail banking, financial literacy, and even
cryptocurrencies.
Tratam-se majoritariamente de startups que buscam inovar e otimizar os serviços
financeiros. Através do uso da tecnologia e a partir de modelos de negócios
altamente escaláveis, são empresas que conseguem oferecer serviços financeiros
muito mais baratos e mais eficientes. Um banco digital, por exemplo, não precisa de
agências físicas e, portanto, seu custo operacional é muito menor comparado às
instituições financeiras tradicionais do setor. Assim, conseguem oferecer serviços
mais baratos.
O Nubank e o Guia Bolso são dois exemplos de fintechs que estão modificando os
modelos operacionais das instituições financeiras e rompendo com a dinâmica
competitiva tradicional. Na verdade, se poderia até mesmo afirmar que as fintechs
estão introduzindo a competição no mercado financeiro. Até então, os serviços
financeiros sempre foram muito concentrados nas mãos de pouquíssimos bancos,
principalmente tomando-se como exemplo uma realidade como a brasileira[3].
O mercado financeiro brasileiro efetivamente voltou-se para inovação e
tecnologia no setor no ano de 2016. Em 2018, só no Brasil, os investimentos em
novas fintechs ultrapassaram 500 milhões de reais. Nos últimos 18 meses nasceram
188 novas fintechs no Brasil, o que coloca o país como o maior polo de empresas
desta natureza na América Latina. Atualmente, existem quase 400 startups fintechs
no Brasil. A médiade crescimento anual é de 48%. Os principais segmentos de
atuação das fintechs brasileiras são: o de pagamentos e remessas, a exemplo do
PagSeguro; o de gestão financeira empresarial, o de empréstimos, sejam aos
consumidores, sejam empresariais; e o de investimentos, como o Waren.
(FINNOVISTA FINTECH RADAR, 2018).[4]
As fintechs utilizam muitas aplicações de inteligência artificial para viabilizar e
melhorar os seus serviços. Mapeando o uso desta tecnologia, a CB Insights (2017)
demonstra que as que mais usam são: as investechs, subcategorias de fintechs
ligadas ao mercado de investimentos e gestão de ativos, as quais usam inteligência
artificial para a tomada de decisão sobre investimentos; as insurtechs, que são as
fintechs de seguros e as regtechs, também chamadas de legaltechs, que são startups
que oferecem soluções tecnológicas para resolver problemas gerados pelas
exigências regulatórias e de compliance. Visam auxiliar as empresas a estarem em
conformidade com a regulação existente. Aliás, este segmento de fintech tem
grande relevância no Brasil, onde a regulamentação é farta, embora as vezes
inexistente, e de difícil compreensão. As legaltechs permitem economia de multas e
outras penalidades, reduzindo os riscos de desconformidade ocasionados pelos
processos manuais.
Com o aparecimento das fintechs, os bancos tradicionais também começaram a
investir em novas tecnologias, de modo especial em aplicações de inteligência
artificial. As instituições financeiras hoje consideram que o uso de inteligência
artificial representa uma vantagem competitiva, já que suas aplicações permitem
melhorar receitas, reduzir perdas, melhorar a experiência do cliente, além de gerar
eficiência operacional. (MAROUS, 2017a).
O relatório do Fórum Econômico Mundial, elaborado em colaboração com a
Deloitte, intitulado New Physics of Financial Services (2018) aponta que até 2021 a
expectativa mundial de investimento dos bancos em inteligência artificial é de 58
bilhões de dólares, que 48% do crescimento do setor se dará através de
investimento nesta tecnologia, assim como que 76% dos bancos concordam que a
adoção de inteligência artificial será um aspecto crucial para que os agentes
econômicos se diferenciem no mercado.
A maior parte dos questionamentos que pautaram a construção deste artigo
foram objeto de reflexão no Fórum Econômico Mundial. O relatório acima referido
traz uma extensa análise sobre os avanços trazidos pelas novas tecnologias ao setor
financeiro, com algoritmos inteligentes capazes de tomar decisões que reduzem
custo e oferecem novas possibilidades aos consumidores e investidores. De forma
geral, a principal conclusão é a de que a inteligência artificial revoluciona o setor
porque rompe os elos tradicionais entre os entes financeiros, determinando que os
modelos de atuação sejam redesenhados. (WEFORUM, 2018).
A inteligência artificial permite que sejam criados modelos de operação
totalmente novos e cria nova dinâmica competitiva que recompensa as instituições
focadas em escala e sofisticação de dados, na customização e na eficiência,
satisfazendo melhor os consumidores e investidores. Essa conclusão é possível
através do quadro comparativo que o relatório traz entre as bases das instituições
financeiras tradicionais e as bases para o futuro delas. (WEFORUM, 2018).
Enquanto as instituições financeiras tradicionais trabalhavam sob a lógica da
escala de ativos, concentradas na complexidade do capital em si, as do futuro
trabalham com a escala de dados, cuja eficiência operacional é maximizada de
forma exponencial com o uso de inteligência artificial. As instituições financeiras do
futuro permitem uma experiência customizada, adaptada ao perfil do consumidor,
enquanto as tradicionais trabalhavam com produção em massa. Os bancos
tradicionais utilizavam como estratégia para a retenção do consumidor os altos
custos de transferência; os do futuro terão que se adaptar a possibilidade de
portabilidade dos dados, assim, precisarão de clientes engajados pelo melhor
resultado. A lealdade do cliente poderá estar atrelada a eficiência das finanças
autoguiadas por inteligências artificiais. E por fim, justamente a melhoria de
performance em decorrência do uso da tecnologia aliada ao talento humano. Aliás,
as inteligências artificiais fortes[5] permitem que os serviços melhorem
progressivamente com o tempo, na medida em que os usuários interagem com ela.
As instituições financeiras tradicionais dependiam apenas da capacidade humana.
(WEFORUM, 2018).
Um dos fatores que torna as fintechs particularmente disrruptivas para o
mercado financeiro, bem como as torna competitivas, é justamente o fato de
estarem voltadas para a experiência do cliente. Jeff Reed (2016, posição 196/200)
destaca que
Unlike banks, which have been able to function irrespective of the needs of its
customers for decades, fintechs is required to be user-friendly in order to
attract participants. No one needs to be convinced to open an account with a
bank – but you do need convincing to try out something radically new and
different such as online lending. The best way to attract users is to make it
Worth their while and user-friendly. Banks often develop online tools, but they
are far from easy in terms of operability. Most do not design with customer
need in mind. That’s where fintechs comes in and changes the market.
Porém, mais do que se voltarem para o consumidor e tornarem a operação digital o
seu core business, os bancos precisarão se reinventar na medida em que os modelos
de negócios peer to peer (P2P)[6], permitem que as pessoas se conectem diretamente
entre si para troca de produtos e serviços, dispensando os intermediários. Um
empresário que precisa de dinheiro não precisa mais ir a um banco tomar um
empréstimo, poderá buscá-lo junto de outros empresários. (REED, 2016). Se fala em
peer-to-peer lending, o chamado empréstimo coletivo. Recentemente, o Conselho
Monetário Nacional – CMN editou a Resolução nº 4.656 criando as Sociedades de
Empréstimos entre Pessoas – SEP, justamente para regular as plataformas
eletrônicas de aproximação P2P.
Contudo, essa transformação no ecossistema financeiro ainda é mais invisível do
que parece ser. As novas tecnologias, em especial a inteligência artificial, estão
revolucionando de forma radical e irreversivelmente o setor, mas os efeitos ainda
não são completamente visíveis. O exemplo clássico é a sugestão de filmes feita
pelo Netflix. As sugestões são distintas dependendo de quem é o usuário. Esse é o
efeito invisível gerado pela aplicação de inteligência artificial que seguramente
impacta as pessoas e as organizações, já que estas implementam lucratividade
retendo o cliente pela customização propiciada pela leitura inteligente dos dados
fornecidos por aquele. As instituições financeiras também utilizarão, cada vez mais,
análises preditivas para, a partir do comportamento do cliente, oferecer produtos
personalizados. Imperceptível ou não, finalmente, a experiência do consumidor
com serviços financeiros tende a melhorar.
3. Principais aplicações de inteligência artificial no
ecossistema financeiro
O uso de inteligência artificial nos serviços financeiros traz mais segurança, já que
detecta e previne fraudes. Os agentes inteligentes são capazes de identificar
cenários de fraudes e anomalias contextuais com mais precisão do que processos
manuais. Conforme o relatório Bank of the Future, produzido pelo Citi GPS (2018), a
aplicação de IA pode reduzir em até 30% o tempo de detecção de uma fraude e até
80% o número de falsos positivos e falsos negativos[7] nas investigações de fraudes.
É possível a identificação precisa e real do cliente, até mesmo pela localização,
assim como oferecem proteção da privacidade e contra o phishing[8]. Juntamente
com o propósito de segurança e aplicações contra a fraude, a autenticação
biométrica é outra aplicação de inteligência artificial que já vem sendo bastante
implementada nos serviços financeiros. (MAROUS, 2017b).
Soluções de inteligência artificial tambémservem para automatização de
processos internos, o que também permite o monitoramento de transações
objetivando prevenir a lavagem de dinheiro e a manipulação de mercado.
Com procedimentos mais seguros, viabiliza-se a estruturação de serviços
financeiros dos mais diversos. Até mesmo serviços mais simples para atendimento
de populações desfavorecidas que não representavam foco de interesse para os
bancos tradicionais dado o custo de sua estrutura operacional. Como exemplos,
tem-se o cartão pré-pago para realização de compras oferecido pelo Banco Maré, a
plataforma de negociações de dívidas Quero Quitar e os serviços de assistência aos
microempreendedores individuais da SmartMEI.
A personalização do marketing e da oferta de produtos ou serviços também é
propiciada pelas soluções de inteligência artificial, melhorando a gestão de
relacionamento com o cliente. Até mesmo os bancos de varejo já estão
implementando análises preditivas para estudar comportamento do cliente e
oferecer produtos personalizados e consultoria de investimento. (Citi GPS, 2018).
Essa personalização dos serviços, baseada na gestão da identidade do cliente atinge
ponto máximo com a omnicanalidade. Não é novidade que o consumidor está cada
vez mais exigente e informado e para responder as suas necessidades é preciso
unificar os canais de contato das empresas: redes sociais, dispositivos móveis, e-
mails, mensagens instantâneas, etc. Essa interrelação de canais é a chave para
melhorar a experiência do cliente.
A gestão da relação com o cliente também pode ser aprimorada com a criação de
canais de atendimento integrados com as assistentes virtuais tais como a Siri da
Apple ou a Alexa da Amazon, as quais podem estar estruturadas para prever
antecipadamente a dúvida do cliente e já responder. Esse comportamento preditivo
revoluciona a forma de interação com o consumidor e só é alcançado pela análise
de dados feita pela inteligência artificial.
Exemplo interessante que ilustra a oferta de serviços personalizados é o da
fintech chamada Finpass. Ela é conhecida como o Tinder do sistema financeiro
porque possui um algoritmo de matching, ou seja, em poucos segundos ele avalia
um mercado composto por aproximadamente 150 bancos, milhares de fundos de
investimentos e centenas de fintechs, para descobrir qual a melhor opção para
obtenção de crédito. O algoritmo indica qual é o financiador mais compatível com o
perfil do negócio de quem precisa de um empréstimo ou precisa antecipar
recebíveis. Ou seja, através de decisões automatizadas aproxima quem concede
crédito daquele que precisa de crédito. O uso de inteligência artificial nesse caso
melhora a experiência do cliente, permitindo que se ofereça serviços
personalizados.
Essa personalização também está ligada com a questão da segurança, já que a
inteligência artificial permite uma análise de risco mais apurada, baseada em
criação de sistemas de pontuação de crédito, o chamado credit scoring. O método
de análise de crédito que atribui uma pontuação para o potencial cliente visando
classificá-lo estatisticamente em grupos ou perfis para que uma instituição
financeira possa decidir conceder ou não algum produto de crédito não é novo, mas
a apuração desse credit scoring por uma inteligência artificial é mais rápida, mais
eficiente e até mesmo pode ser utilizada para afastar distorções[9]. O credit scoring é
malvisto por muitas pessoas porque pode ser utilizado como critério de
discriminação. Contudo, certamente diminui custos de transação quando associado
à desburocratização e agilidade para realização de operações financeiras, assim
como para criação de outras tendências em investimentos.
Outra aplicação de inteligência artificial que é uma tendência no mercado
financeiro é o uso de chatbots, ou seja, os agentes digitais de atendimento ao cliente
para consultas rotineiras. Os chatbots são muito utilizados pelas fintechs, mas os
bancos tradicionais também estão se rendendo. A Bia do Bradesco se diz pioneira
no Brasil. Estatisticamente, 80% das consultas recebidas pelas instituições
financeiras poderiam ser automatizadas, além disso, os bots[10] podem ser
dimensionados para lidar com aproximadamente 2 milhões de consultas diárias.
(Citi GPS, 2018). A capacidade de atendimento é potencializada de forma
exponencial.
A inteligência artificial também pode ser utilizada para a gestão da riqueza e
consultoria de investimentos. As negociações podem ser feitas de forma
automática, baseadas em análises de mercado cujas previsões são apuradas através
do Big Data e dos algoritmos. O cliente pode preferir negociações automáticas e de
alta frequência, mas também pode optar apenas pelo uso de recomendações. Estas
podem auxiliar o planejamento financeiro.
O robô investidor, também chamado de robô-advisor, é uma aplicação de
inteligência artificial baseada em modelos preditivos, disponibilizada em
plataformas digitais que fornecem serviços de planejamento financeiro
automatizado. Com base nas informações do cliente sobre seu perfil, sua situação
financeira e suas metas futuras, são oferecidas carteiras de investimentos que são
100% controladas pelo robô. (Citi GPS, 2018).
O Ueslei é um robô investidor que trabalha com estratégia e eficiência
operacional e que se apresenta na rede da seguinte forma:
Sou um conjunto de algoritmos programados pelos humanos da Vérios para
cuidar bem dos seus investimentos. Não tenho um corpo físico, mas as
pessoas costumam me chamar de “robô”. Faço cálculos que os humanos
consideram muito complexos e repetitivos, e realizo operações financeiras
de compra e venda de ativos de acordo com os resultados desses cálculos.
Monitoro milhares de carteiras de investimentos 24 horas por dia, sete dias
por semana (mas confesso que geralmente não acontece muita coisa
durante as noites e os fins de semana). (VÉRIOS BLOG, 2017).
É, no mínimo, muito amigável. Paradoxalmente, cria uma experiência mais humana
do que a oferecida nos bancos tradicionais que trabalhavam sob a lógica da
produção em massa. A estrutura mais amigável e humana oferecida pelas fintechs
não deixa de representar uma estratégia competitiva. Afinal, eles precisam
conquistar o cliente, precisam convencê-lo a experimentar o novo. (REED, 2016).
Os bots, além de amigáveis são eficientes e, assim, permitem que até mesmo as
pessoas menos iniciadas no mercado financeiro possam investir com um grau de
segurança maior, dado que o seu consultor estará controlando vinte e quatro horas
por dia as oscilações do mercado, a fim de comprar e vender os ativos e manter a
rentabilidade daqueles que nele confiaram.
A BI Intelligence (2016), serviço de pesquisa premium da Business Insider
demonstrou que em 2015 já havia US$ 100 bilhões de ativos no mundo sendo
administrados por robôs-advisors, mas a expectativa é a de que gerenciem US$ 8
trilhões globalmente até 2020.
Outro dado muito interessante, conforme as previsões do Gartner Customer 360
(2011) é o de que até 2020 as pessoas estarão gerenciando 85% dos seus
relacionamentos negociais sem a interação humana. As instituições financeiras,
sejam bancos consolidados sejam startups fintechs – assim como em outros setores
-, poderão implementar bots não só através de seus próprios aplicativos,
desenvolvendo o robô internamente ou usando o serviço de terceiros, mas também
integrá-los com redes sociais e aplicativos de mensagens. Um exemplo que já existe
é o do Banco Original, um banco digital que tem um bot que interage pelo
Messenger do Facebook. Esses bots também poderão estar interligados com os
assistentes virtuais, interagindo com eles e realizando tarefas que antes eram
apenas realizadas pelos seres humanos.
Como visto, muitas são as aplicações de inteligência artificial no ecossistema
financeiro, as quais vem sendo fortemente utilizadas pelas fintechs. Os bancos
tradicionais também estão enfrentando a questão, mas não tem o mesmo nível de
maturidade. Os bancos utilizam mais soluções de inteligência artificial no back-end,
ou seja, nas estruturas internas, para automação deprocessos existentes e melhoria
dos sistemas de pagamentos pela redução de fraudes e falsos positivos. As
aplicações de front-end, ou seja, aquelas de interação direta com o usuário, como
interfaces amigáveis, uso de chatbots e robôs-advisors são menos consolidadas nos
bancos e melhor exploradas pelas fintechs. (KOCIANSKI; DYKE, 2018).
Essa diferença de maturidade fica evidente com os dados apresentados pelo
Digital Banking Report de que só 15% dos bancos estão desenvolvendo uma ou mais
soluções baseadas em inteligência artificial, 38% entendem que tais soluções estão
nas metas para serem consideradas nos próximos 18 meses e 25% não tem planos
de implementação de inteligência artificial nos próximos 18 meses. (MAROUS,
2017b).
Com mais ou menos maturidade, fato é que a tecnologia está revolucionando o
ecossistema financeiro. E há quem defenda que a grande virada somente ocorrerá
com a adoção do open banking e das interfaces de programação de aplicativos –
APIs para os serviços financeiros. Hoje já é possível se cadastrar em um jornal
usando o perfil do Google, por exemplo. Estas interfaces já são conhecidas, mas não
são utilizadas nos serviços financeiros. Conforme o Relatório Fintech Trends (2017),
o open banking nada mais é do que o compartilhamento de informações financeiras
eletronicamente em uma plataforma unificada. Imagine usar um sistema de internet
banking único, possibilitando o acesso a diversas contas bancárias em um único
aplicativo, agilidade em pagamentos via internet sem a necessidade de acessar o
sistema do banco, acesso a produtos de diferentes instituições financeiras em um
único aplicativo. Além disso, é o open banking que viabilizará a portabilidade de
contas correntes.
O Banco Central do Brasil anunciou no final de 2018 que prepara a
regulamentação para implementar o open banking no Brasil em 2019. A tendência é,
nessa medida, a utilização das novas tecnologias para facilitar o acesso aos serviços
financeiros, assim como melhorar a experiência do usuário.
Aliás, essa ideia de reunir diversos serviços, de diferentes origens, em um único
aplicativo, até mesmo ultrapassando a fronteira dos serviços financeiros, já é
realidade na China com o seu super aplicativo WeChat, o qual é responsável pela
criação de um ecossistema de comunicação completamente inovador.[11] Na
verdade, o WeChat transformou o significado de comunicação, combinando esta
com comércio, mídia e entretenimento. O WeChat não é só um sistema de
mensagens de texto e de voz ou de ligações e chamadas de vídeo grátis, oferece
também carteira de investimentos, sistema de pagamentos eletrônicos,
transferências bancárias sem taxas, pagamento de contas, carteira eletrônica,
compras em grupo, compras diversas como em supermercado, pedido de comida,
aluguel de bicicleta compartilhada, solicitação de serviço de taxi ou Uber, etc. É
também agência de viagens para compra de passagens de trem, avião e
hospedagem, possui mídias sociais, a exemplo do Facebook, Instagram e Twiter,
todos bloqueados pelo firewall do Governo Chinês, além de oferecer aplicações de
relacionamentos, como a do Tinder e outras coisas que, no Brasil, não são viáveis
por aplicativos, como agendamentos em hospitais e mapas que indicam o quão
lotado está um local como um shopping. A lista de serviços do WeChat, incluindo
uma série de serviços financeiros, é infinita. É possível mapear a rotina diária de um
chinês pelo uso do WeChat. Seu efeito é viral, mas não pela variedade de opções
que se pode fazer através do aplicativo, mas justamente pelo fato de ser tudo isso
em um único aplicativo: um super app. (SACHS, 2019).
O WeChat chinês é a maior prova de que a tecnologia transcende sua função
original e começa a fazer parte da cultura. Pode-se dizer que a tecnologia está
mudando a cultura, porque muda a forma como as pessoas lidam com o mundo.
WeChat se tornou esta potência na China em pouco menos de 3 anos. No Brasil, os
movimentos são um pouco mais lentos. Contudo, a Tencent, dona do WeChat,
investiu 180 milhões de dólares na Nubank, fintech brasileira, com o objetivo de
construir uma plataforma de finanças pessoais de serviço completo. (MANDL, 2018).
Ao que parece, o super app, envolvendo os mais diversos serviços financeiros, não
tardará a chegar no Brasil.
4. Desafios associados ao desenvolvimento de aplicações de
inteligência artificial no ecossistema financeiro
O emprego de novas tecnologias está associado a uma série de desafios, além de
envolver dilemas éticos. No que toca ao desenvolvimento de soluções de
inteligência artificial no ecossistema financeiro, as preocupações giram
principalmente em torno da questão regulatória, da segurança de dados, dos
impactos organizacionais, da interação com novas tecnologias, além da necessidade
de expertise e pessoal para implantar as soluções.
O Relatório do Fórum Econômico Mundial (2018) traz como um dos principais
desafios justamente a transformação dos talentos, a qual é fundamental para a
velocidade na implantação de inteligência artificial nas instituições financeiras.
Aliás, o desafio ligado às pessoas pode ser visto a partir de diferentes perspectivas.
A primeira delas é a de que os avanços de inteligência artificial eliminarão
completamente algumas posições de trabalho, já que as máquinas estão realizando
atividades que eram exclusivas dos seres humanos. Por outro lado, outras posições
de trabalho surgirão.[12] A segunda perspectiva é a de que, na maioria dos casos, os
funcionários existentes não estão preparados para esta nova configuração do
ecossistema financeiro, não possuindo habilidades para lidar com as soluções
tecnológicas. Em razão disso, estudos apontam que um dos maiores desafios é
encontrar o talento certo. Um líder para o desenvolvimento de soluções de
inteligência artificial não é usualmente encontrado dentro da organização, exigindo
contratações externas. (MAROUS, 2017a). Esse desafio, contudo, é mais direcionado
aos bancos do que às fintechs, já que nestas sempre há alguém mais ligado com
desenvolvimento de tecnologias. Talvez falte expertise sobre mercado financeiro.
Ou não, já que os 80 mil ex-bancários existentes no Brasil hoje podem em parte ser
absorvidos pelo mercado fintech.[13]
Outro desafio voltado mais para os bancos tradicionais é o dos impactos
organizacionais. A sobrevivência competitiva dos bancos no ecossistema financeiro
já depende e dependerá cada vez mais de soluções de inteligência artificial e de
outras tecnologias. Sem elas os bancos não conseguirão competir com serviços e
produtos mais personalizados e mais baratos oferecidos pelas fintechs. Além disso,
os bancos atualmente possuem uma distribuição física de agências que já se pode
considerar como algo do passado (REED, 2016). A Folha noticiou em 2016 que a
“agência bancária do futuro será mais cafeteria do que banco” (BRANT, 2016). Será
necessário um repensar sobre a estrutura e custo operacional.
A colaboração entre players deste ecossistema, inexistente até pouco tempo,
também será fundamental para as instituições que pretendem prosperar. Os
bancos, tradicionalmente, trabalham numa arquitetura fechada, ou seja, só
oferecem produtos ou serviços com a sua bandeira. Para se manter em um mercado
muito mais competitivo, precisarão trabalhar com a arquitetura aberta, oferecendo
acesso aos produtos e serviços de outros players do mercado aos seus clientes. O
Relatório do Fórum Econômico Mundial (2018) afirma que ferramentas
colaborativas de inteligência artificial, construídas com base em dados
compartilhados, podem permitir um sistema financeiro mais seguro e eficiente.
Também se apresenta como desafio a interação de novas tecnologias. Isso porque
a inteligência artificial não é suficiente para estruturação dos diferentes caminhos
que podem ser utilizados pelas instituições financeiras. Há uma convergência
tecnológica que deve ser considerada. Ou seja, as capacidades das inteligências
artificiais estão interligadas com o desenvolvimento de outras tecnologias. A
tecnologia blockchain é uma delas, a qualoferece uma forma de registro de
operações muito mais segura. Os registros distribuídos e compartilhados garantem
sua imutabilidade, permitindo transações com moedas digitais, celebração de
contratos inteligentes, etc. A internet das coisas – IoT também se revela
importante, já que permite a integração dos sistemas bancários com as coisas
conectadas na internet, como os assistentes virtuais, os wearables, e os já
fartamente utilizados smartphones e tablets. A computação quântica permitirá a
existência de computadores com potência e velocidade de processamento
suficientes para suportar inteligências artificiais cada vez mais fortes. O Relatório
do Fórum Econômico Mundial (2018) deixa muito claro que as tecnologias não
podem ser entendidas de forma isolada, porque elas se alimentam umas das outras,
ou melhor, interagem, se combinam e retroalimentam umas às outras. É da
interconexão das tecnologias que novas soluções e produtos mais interessantes são
desenvolvidos, seja no ecossistema financeiro ou em outros.
Um dos desafios mais significativos ao implemento de soluções de inteligência
artificial é o da segurança dos dados. Os serviços atualmente oferecidos,
especialmente por empresas que trabalham com novas tecnologias, têm como uma
de suas características a constante coleta de dados pessoais dos usuários. Todas as
informações vão sendo inseridas em um banco de dados cada vez mais completo
sobre as pessoas. Além disso, tais dados têm um valor econômico significativo,
afinal definem tendências de consumo, políticas, comportamentais, etc., e
permitem que as empresas direcionem suas estratégias de acordo com tais
tendências. Não só empresas como governos acabam tendo acesso a muitos dados
pessoais. Os agentes que tratam dados de terceiros devem adotar medidas de
segurança, técnicas e administrativas, aptas a proteger os dados pessoais,
garantindo a segurança da informação.
Aliás, os dados coletados, armazenados e transacionados na rede são os grandes
responsáveis pelo atual auge das aplicações de inteligência artificial. As pesquisas
sobre inteligência artificial iniciaram nos anos de 1960. Nos anos de 1980, John
Hopfield e David Rumelhart popularizaram a técnica da aprendizagem profunda
(Deep Learning), um ramo do chamado aprendizado de máquinas (Machine
Learning). (WEFORUM, 2018). Contudo, uma inteligência artificial sem dados, sem
informações, não atinge suas potencialidades. O momento da inteligência artificial é
agora justamente porque nunca existiram tantos dados, nunca foi tão barato
armazená-los, assim como nunca foi tão fácil deles gerar outros. A rede é uma fonte
incessante de dados, através dos celulares, wearables, redes sociais, coisas
conectadas à internet, análises comportamentais, cadastros, etc. Estatísticas
demonstram que os dados produzidos de 2013 para cá representam 90% de todas
as informações existentes na internet. (HEKIMA, 2017).
Diante de toda esta abundância, paira o risco de os dados coletados e
armazenados serem utilizados de forma indevida, o que se tornou realidade com o
vazamento dos dados de 87 milhões de usuários do Facebook para a empresa de
marketing político Cambridge Analytica, que atuou na campanha de Donald Trump.
O escândalo foi necessário para que as autoridades entendessem a importância da
regulamentação da proteção dos dados pessoais. Em 2018 entrou em vigor o
Regulamento Geral de Proteção de Dados – RGPD na União Europeia[14]. Menos de
dois meses depois da entrada em vigor do RGPD, o Congresso Nacional brasileiro
aprovou a Lei Geral de Proteção de Dados – Lei 13.709/2018. Tanto o RGPD quanto
a LGPD estabelecem as regras sobre como as empresas e órgãos públicos podem
tratar dados pessoais – aí compreendida a coleta, o armazenamento, o
compartilhamento, a venda, etc. – de modo que não se caracterize a violação de
direitos fundamentais dos titulares. Imagine-se a concentração de dados que o
WeChat chinês possui. E lá, não há dúvidas de que o governo utiliza os mesmos para
controlar os movimentos dos cidadãos.
A importância das leis de proteção de dados é imensa, de modo especial para o
foco do presente artigo, considerando-se o tráfego dos dados pessoais por
instituições oficiais tais como bancos, públicos e privados. Portanto, não restam
dúvidas de que as instituições financeiras deverão adequar-se às regras legais de
tratamento de dados. Os programas de compliance de proteção de dados são
altamente recomendados para tal adequação, o que, aliás, poderá ser feito através
dos serviços de inteligência jurídica oferecidos por uma legaltech.
Ponto importante é o de que os dados somente podem ser tratados se houver um
fundamento legal. O fundamento base é o consentimento, livre, informado e
inequívoco do titular dos dados. Mas a questão está em quem e como os dados em
rede podem ser tratados. Inteligências artificiais podem tratar os dados contidos na
rede? Tanto a Lei Geral de Proteção de Dados brasileira[15], como o Regulamento de
Proteção de Dados da União Europeia adotam como fundamento legal para o
tratamento de dados o legítimo interesse.
O legítimo interesse se manifesta quando for necessário para atender aos
interesses legítimos do responsável ou de terceiros. Claro que o conceito de
legítimo interesse é indeterminado e quem deverá determinar o seu conteúdo é a
Autoridade Nacional de Proteção de Dados[16]. Ronaldo Lemos (2018) entende que
esta hipótese legal é extremamente positiva, porque permite a inovação; o avanço
tecnológico.
O outro fundamento que a lei traz para o tratamento de dados é a proteção do
crédito. Esse fundamento não se confunde com o consentimento do titular. O
ponto nebuloso, nesse caso, é justamente como harmonizar os dois fundamentos,
quais são os limites que devem ser observados para que se admita ou não o
tratamento de dados nesta hipótese. Não há, por enquanto, como dar sentido aos
conceitos indeterminados ou ter clareza sobre os pontos nebulosos. Afinal, a LGPD
no Brasil foi publicada em 2018, mas ainda está em vacância, ou seja, ainda não
entrou em vigor. Ademais disso, a interpretação da lei cabe à Autoridade Nacional,
órgão também recentemente criado.
Por fim, importante ainda trazer a ressalva de que as aplicações de inteligência
artificial no ecossistema financeiro, como se pode perceber ao longo deste artigo,
estão cada vez mais estruturadas a partir de decisões automatizadas. Decisões
como as de concessão de empréstimo, compra e venda de ativos para investimento,
definição de credit score são exemplos de decisões automatizadas, t omadas por
algoritmos inteligentes.
O RGPD, no seu artigo 22(1), determina que o titular dos dados tem o direito de
não estar sujeito a uma decisão baseada apenas no processamento automatizado de
dados. Mas, no artigo 22(2a), a regra vem excepcionada permitindo a decisão
automatizada se ela for necessária para a execução de um contrato entre o titular
dos dados e o controlador.[17] Conforme Maja Brkan (2017) essa “isenção do contrato”
permitirá as decisões automatizadas no domínio das instituições financeiras.
Já a LGPD brasileira admite, no artigo 20[18], as decisões tomadas unicamente com
base no tratamento automatizado de dados pessoais. Contudo estabelece que o
titular tem o direito de solicitar uma revisão das decisões automatizadas. A
dificuldade que se põe neste caso é a quantidade de decisões automatizadas que
são diuturnamente tomadas. A questão seria: que tipo de decisão automatizada
geraria efetivamente o direito de solicitar a revisão. Ressalte-se ainda que no texto
original da LGPD esta revisão deveria ser realizada por uma pessoa natural. Mas a
Medida Provisória nº 869/2018 que criou a Autoridade Nacional também foi
responsável por algumas alterações no texto da lei, dentre elas a supressão da
necessidade de a revisão ser procedida por uma pessoa natural. Nesse ponto, surge
outro questionamento: a revisão de uma decisão automatizada será realizada por
outra decisão automatizada? Ao que tudo indica, isso será possível. Os algoritmos
estão, realmente, cada vez mais, norteandoo curso da vida das pessoas.
A LGPD também estabelece que o indivíduo tem o direito de obter do responsável
pelo tratamento de dados informações claras e adequadas a respeito da tomada de
decisões automatizadas, antes ou depois do tratamento, assim como tem o direto
de acessar os critérios e as informações utilizadas para a tomada de decisões. Essas
prerrogativas geram o que a doutrina convencionou chamar de direito de
explicabilidade. A dificuldade que se agrega é: como uma instituição financeira que
usa uma inteligência artificial para decidir sobre a concessão ou não de um
empréstimo, por exemplo, irá explicar como o seu algoritmo tomou aquela decisão?
O direito de obter uma explicação relaciona-se com o princípio da transparência
que deve ser aplicado no caso de tratamento de dados pessoais. Contudo, existem
vários obstáculos que se colocam para que se garanta uma explicação significativa
da lógica por trás de decisões algorítmicas. Um dos obstáculos é a necessidade de
compatibilização do direito de explicação e transparência com a proteção da
propriedade intelectual. (BRKAN, 2017). A lei brasileira busca resolver esta questão
determinando que em caso de não fornecimento de informações, com base em
segredos comerciais ou industriais, a autoridade nacional poderá realizar auditoria
para verificação de aspectos discriminatórios em tratamento automatizado de
dados pessoais. O segundo obstáculo é técnico. Um algoritmo inteligente é
complexo. Há uma opacidade em relação as decisões tomadas pelos algoritmos
estruturados através do big data e das técnicas de aprendizado das máquinas.
Muitos autores sugerem que, nestes casos, seria quase impossível explicar a lógica
por traz da tomada da decisão. (BRAKAN, 2017).
É bem de ver que as questões que envolvem novas tecnologias, de modo especial
a inteligência artificial, implicam em um cenário cada vez mais complexo. Nesse
contexto, outro grande desafio que se apresenta é a questão regulatória. É ou não
necessário regular o uso de inteligência artificial no ecossistema financeiro?
Talvez seja necessário regular. Aliás, no Brasil, o setor financeiro é altamente
regulado. Mas, por vezes, a regulamentação excessiva e normalmente de difícil
compreensão, como é o caso de muitas das regras emitidas pelo Conselho
Monetário Nacional – CMN e pela Comissão de Valores Mobiliários – CVM, pode
também ser um complicador.
Contudo, como explicita Eduardo Magrani (2018) as teorias jurídicas hoje
existentes talvez não consigam dar conta dos dilemas que deverão ser enfrentados
pelo uso de novas tecnologias e de modo especial por algoritmos e por inteligências
artificiais cada vez mais fortes. Nessa medida, defende o professor que, para além
da questão regulatória, ou seja, exigir-se uma atuação legislativa para fazer frente a
estas questões, talvez o mais importante seja a necessidade de o Direito se
reinterpretar como metarregulação, ou seja, uma regulação não legislativa, que atua
antes; que atua na esfera do design ou da arquitetura das coisas. Em última análise,
é necessário pensar em um design sensível a valores, ou seja, é necessário garantir
valores na técnica.
Portanto, o fundamental nesse cenário é buscar construir soluções estruturadas
em inteligências artificiais que respeitem critérios éticos (ethics by design); que
respeite a privacidade dos envolvidos (privacy by design), bem como garanta a
segurança na sua utilização (security by design). O que se pretende, com isso, é a
garantia de valores meta-jurídicos; valores éticos essenciais para o respeito aos
direitos humanos.
5. Conclusão: tecno-futuro mais democrático no
ecossistema financeiro?
A inteligência artificial já não faz mais parte apenas do imaginário popular,
tampouco é coisa do futuro. A grande preocupação não está na sua existência, mas
nos seus impactos nos próximos 10, 20 ou 30 anos. A verdade é que ainda não há
como dimensionar os efeitos decorrentes do uso de inteligências artificiais. Os
céticos e pessimistas preveem o apocalipse. Mas cumpre à própria humanidade
pensar de forma positiva e propositiva, definindo os contornos que se pretende dar
aos eventuais e atualmente incertos efeitos. É imprescindível refletir sobre as
aplicações de inteligência artificial e direcionar o seu uso para o bem, criar as bases
para que funcione como mecanismos de inclusão e que respeite direitos
fundamentais como a privacidade, garanta a segurança de dados pessoais e seja
construída a partir de valores éticos.
O ecossistema financeiro passa por uma revolução, está submetido a uma nova
física como se afirmou no Fórum Econômico Mundial. O ingresso das fintechs nesse
vetusto e concentrado mercado traz a dinâmica competitiva que era necessária e
injeta criatividade para criação de soluções inovadoras e muito mais amigáveis. O
resultado são serviços mais seguros, mais variados, com menor custo e maior
agilidade. A melhoria na experiência do usuário será significativa.
Essa dinâmica competitiva e inovadora, a qual implica em novas formas de
oferecimento dos serviços financeiros, também provoca um outro efeito muito
significativo: a desintermediação, o que pode trazer como benefício a diminuição
dos custos de transação e, quiçá, mais eficiência.
Para além da reinvenção que se impõe, existem fintechs direcionadas
exclusivamente para o público que não era foco de interesse dos bancos
tradicionais. Algumas são voltadas exclusivamente para o oferecimento de soluções
facilitadas para quem não tem o conhecimento necessário, como o caso das
investechs e seus robôs investidores, outras direcionadas apenas para atender
micro e pequenos empresários, as vezes também carentes de informações e
conhecimentos mais específicos, sem falar nas chamadas fintechs sociais que, por
exemplo, viabilizam sistema de pagamento através do uso de smartphones para
pessoas que sequer tem conta em banco e, portanto, não tinham até então acesso à
serviços financeiros. O Brasil possui hoje uma população de cinquenta e cinco
milhões de desbancarizados, muitos dos quais serão incluídos em um ecossistema
financeiro que se desenha prometendo um tecno-futuro muito mais democrático.
Para além de mais democrático, não se pode perder de vista que o tecnofuturo
precisa ser construído a partir de bases sólidas, com soluções arquitetadas a partir
do respeito aos valores meta-jurídicos; a partir de um design sensível a valores.
Afinal, a vida das pessoas está cada vez mais regulada por arquiteturas tecnológicas;
a tecnologia integra transforma a cultura das nações.
Referências bibliográficas
BRANT, Danielle. Agência bancária do futuro será mais cafeteria do que banco,
prevê empresa. Folha Digital. Out., 2016. Disponível em:
https://www1.folha.uol.com.br/mercado/2016/10/1825548-agencia-do-futuro-
sera-mais-cafeteria-do-que-banco-preve-gigante-do-setor.shtml, acesso em 27
jan., 2019.
BRKAN, Maja. AI-Supported Decision-making under the General Data Protection
Regulation. London/UK: Proceedings of ICAIL’17. Jun. 2017 Disponível em:
https://doi.org/10.1145/3086512.3086513, acesso em 28 jan., 2019.
Brasil recupera el liderazgo Fintech en América Latina y supera la barrera de las
370 startups. Finnovista Fintech Radar. Jun., 2018. Disponível em:
https://www.finnovista.com/actualizacion-fintech-radar-brasil-2018/, acesso em
25 jan. 2019.
ČERKAA, Paulius; GRIGIENĖA, Jurgita; SIRBIKYTĖB, Gintarė. Liability for damages
caused by artificial intelligence. Computer Law & Security Review. Vol 31. No.3.
Jun., 2015.
CIRIACO, Douglas. O que é P2P? ago., 2008. Disponível em:
https://www.tecmundo.com.br/torrent/192-o-que-e-p2p-.htm, acesso em 26 de
jan., 2019.
CROSMAN, Penny. Is AI making credit scores better, or more confusing?
American Banker. Fev., 2017. Disponível em:
https://www.americanbanker.com/news/is-ai-making-credit-scores-better-or-
more-confusing, aceso em 26 jan., 2019.
DAVIES, Colin R. An evolutionary step in intellectual property rights: Artificial
Intelligence and Intellectual Property. Computer Law & Security Review. Vol 27. p.
601-619.Dec., 2011.
Fintech Trends: tendências e desafios para o mercado fintech brasileiro. Conexão
Fintech. 2017. Disponível em: http://conexaofintech.com.br/news/wp-
content/uploads/report_tendencias_fintech_Brasil_2017_Conexao_Fintech.pdf,
acesso em 27 jan., 2019.
HEKIMA. Big Data e Inteligência Artificial: números e estatísticas
impressionantes. Big Data Business. Fev., 2017. Disponível em:
http://www.bigdatabusiness.com.br/os-grandes-e-impressioantes-numeros-de-
big-data/, acesso em 28 jan., 2019.
Gartner Customer 360 Summit 2011. Disponível em:
https://www.gartner.com/imagesrv/summits/docs/na/customer-
360/C360_2011_brochure_FINAL.pdf, acesso em 26 jan., 2019.
KOCIANSKI, Sarah; DYKE, Dan Van. AI IN BANKING AND PAYMENTS: How
artificial intelligence can cut costs, build loyalty, and enhance security for financial
institutions. Business Insider – BI Intelligence . Feb., 2018. Disponível em:
https://www.businessinsider.com/ai-in-banking-and-payments-report-2018-2,
acesso em 27 já., 2019.
LEMOS, Ronaldo; DOUEK, Daniel. ADAMI, Mateus Piva; LANGENEGGER, Natalia;
FRANCO, Sofia Lima. A criação da Autoridade Nacional de Proteção de Dados pela
MP nº 869/2018. Jota. Dez. 2018. Disponível em: https://www.jota.info/opiniao-e-
analise/artigos/a-criacao-da-autoridade-nacional-de-protecao-de-dados-pela-
mp-no-869-2018-29122018, acesso em 29 jan., 2019.
LEMOS, Ronaldo; MAGRANI, Eduardo. GDPR e LGPD e aplicações de inteligência
artificial e algoritmos. ITS Rio. Set. 2018. Curso “A Nova Lei Geral de Proteção de
Dados” ministrado on line.
MAGRANI, Eduardo. Inteligência Artificial: o que é e como ela pode afetar sua
vida. ITS Rio. Abr. 2018. Curso “Inteligência artificia: (r)evolução na prática”
ministrado on line.
MANDL, Carolina. China’s Tencent invests $180 million in Brasil fintech Nubank.
REUTERS. Out., 2018. Disponível em: https://www.reuters.com/article/us-
tencent-holdings-nubank-m-a/chinas-tencent-invests-180-million-in-brazil-
fintech-nubank-idUSKCN1MI20L, acesso em 15 fev., 2019.
MAROUS, Jim. How Financial Institutions are Turning AI into ROI. Set., 2017a. The
Financial Brand. Disponível em: https://thefinancialbrand.com/67498/artificial-
intelligence-ai-banking-trends/, acesso em 26 jan. 2019.
______. Competitive Survival in Banking Hinges on Artificial Intelligence. Out.,
2017b. The Financial Brand. Disponível em:
https://thefinancialbrand.com/67890/ai-banking-research-deployment-trends/,
acesso em 26 jan. 2019.
MEOLA, Andrew. Robo-advisors have a $2 trillion opportunity in front of them.
Business Insider – BI Intelligence. Jun., 2016. Disponível em:
https://www.businessinsider.com/robo-advisors-have-a-2-trillion-opportunity-
in-front-of-them-2016-6, acesso em 26 já., 2019.
NG, Andrew. Artificial Intelligence is the New Electricity. Synced Review. Abr.,
2017. Disponível em: https://medium.com/syncedreview/artificial-intelligence-is-
the-new-electricity-andrewng-cc132ea6264, acesso em 25 jan. 2019b.
Olá, sou o Ueslei, o robô que cuida dos seus investimentos. Vérios Blog. Abr.,
2017. Disponível em: https://verios.com.br/blog/ola-sou-o-ueslei-o-robo-que-
cuida-dos-seus-investimentos/, acesso em 26 jan., 2019.
REED, Jeff. FinTech Financial Technology and Modern Finance in the 21st
Century. Kindle Edition, 2016.
SACHS, Lais. Fintechs: China e Brasil. ITS Rio. Fev., 2019. Curso “Radar ITS 2019:
tendências para a Internet” ministrado on line.
SCHWAB, Klaus. A quarta revolução industrial. Traduzido por Daniel Moreira
Miranda. São Paulo: Edipro, 2016.
STIVANI, Mirella. Os dez tipos de phishing mais comuns. Techtudo. Jun. 2018.
Disponível em: https://www.techtudo.com.br/listas/2018/06/os-dez-tipos-de-
phishing-mais-comuns.ghtml, acesso em 25 jan. 2019.
TEIXEIRA JÚNIOR, Sérgio. O Alibaba no topo do mundo. Exame. Set., 2014.
Disponível em: https://exame.abril.com.br/revista-exame/o-alibaba-no-topo-do-
mundo/, acesso em 15 fev., 2019.
The AI In Fintech Market Map: 100+ Companies Using AI Algorithms to Improve
the Fin Services Industry. CB Insights. Mar. 2017. Disponível em:
https://www.cbinsights.com/research/ai-fintech-startup-market-map/, acesso
em 25 jan. 2019.
The Bank os the Future: The ABCs of Digital Disruption in Finance. Citi GPS. Mar.,
2018. Disponível em:
https://ir.citi.com/CiDxU7p7pAittTmqzfMCS9%2F91IS21vIjJXbn3wjpSEYiTXJ8FvEPRWx8WmmrKNgBSzDi8E2mGOI%3D,
acesso em 25 jan. 2019.
The New Physics of Financial Services. World Economic Forum. Ago. 2018.
Disponível em:
http://www3.weforum.org/docs/WEF_New_Physics_of_Financial_Services.pdf,
acesso em 25 jan. 2019.
1. Advogada. Doutoranda em Direito pela UNISINOS. Mestre em Direito
pela PUCRS. LLM em Direito Empresarial pelo CEU Law School.
Professora de Direito Empresarial e de Direito da Propriedade
Intelectual da UNISINOS e da ESMAFE – Escola Superior da
Magistratura Federal. Pesquisadora do Grupo Inteligência Artificial e
Inclusão do ITS RIO - 2018. E-mail: fernandaborghetti@hotmail.com ↵
2. A primeira mudança profunda na maneira de viver se deu com a
revolução agrícola, quando o homem deixou de ser um mero catador
e começou a produzir os seus alimentos, dominando a agricultura.
Esta revolução, que ocorreu a cerca de 10.000 anos, foi seguida por
uma série de revoluções industriais, iniciadas na segunda metade do
século XVIII. A primeira revolução industrial foi provocada pela
construção de ferrovias e pela invenção da máquina a vapor. Foi
aquela que deu início a produção mecânica. A partir do final do século
XIX, com o advento da eletricidade e da linha de montagem,
possibilitou-se a produção em massa, o que caracterizou a segunda
revolução industrial. A terceira revolução industrial teve início na
década de 60 e foi chamada de revolução digital. Esta foi
impulsionada pelo desenvolvimento dos semicondutores, da
computação em mainframe (1960), da computação pessoal (1970/80)
e da internet (1990). Para aprofundamento e análise dos
impulsionares e impactos da quarta revolução industrial ver a obra “A
quarta revolução industrial” de Klaus Schwab. ↵
3. “El sistema bancario de Brasil es conocido como uno de los más
burocráticos del mundo, con los cinco mayores bancos del país, Itáu
Unibanco, Banco Santander, Banco Bradesco, Banco do Brasil y Caixa
Econômica, en posesión del 80% de cuota de mercado en el negocio
de crédito”. (FINNOVISTA FINTECH RADAR, 2018). Importante dizer
que a concentração bancária não é uma particularidade brasileira. A
China, por exemplo, é outro mercado que, muito impactado pelas
fintechs, também é exemplo de concentração bancária. Quatro
bancos concentravam o mercado financeiro chinês. (SACHS, 2019). ↵
4. Os números brasileiros são significativos, mas incomparáveis com a
líder mundial do mercado fintech: a China. Entre 2015 e 2016,
momento de surgimento das fintechs no país, a China contou com 8
bilhões de dólares em investimentos no setor. Três foram os
principais fatores para o surgimento das fintechs na China: incentivos
governamentais de estímulo a crédito durante a crise de 2008,
dezenas de milhões de pessoas sem acesso a serviços financeiros
formais e grande insatisfação com as ofertas de serviços bancários
provenientes dos grandes bancos. Um exemplo de transformação dos
serviços financeiros na China é a empresa Ant Financial que, desde
2014, opera todos os serviços financeiros ligados ao grupo Alibaba, o
maior intermediário varejista chinês, como a americana Amazon. O
Alibaba, em 2014, já era o responsável por 80% das vendas online na
China e esse percentual foi atingido quando desenvolvido o serviço
de pagamento: o Alipay, o qual resolveu um problema de confiança, já
que o repasse do dinheiro aos vendedores somente ocorre após a
confirmação da operação pelo comprador. O Alipay é a empresa líder
mundial de pagamentos online, contando com 520 milhões de
usuários. O importante é que o Alipay não viabiliza apenas a compra
de produtos em um mercado online, viabiliza o pagamento de
ambulantes, de hotéis, de supermercados, de bicicletas
compartilhadas, de passagem no metrô, dentre outras possibilidades,
simplesmenteescanceando um QR Code pelo telefone celular. Isso é
possível pela penetração da internet e dos smartfones na China.
Cerca de 556 milhões de pessoas acessam a internet por meio dos
seus telefones. (SACHS, 2019). Aliás, o Grupo Alibaba tem a Aliexpress
no Brasil, empresa que gera desconforto, por exemplo, para o
Mercado Livre. A operação no Brasil é interessante, também é um
mercado relevante em população. Mas, independentemente da
operação local, é certo que a internet reduz fronteiras: o próprio
Alibaba tem 2 milhões de clientes brasileiros cadastrados. (TEIXEIRA
JÚNIOR, 2014). ↵
5. A inteligência artificial pode ser fraca ou forte. A fraca é aquela que só
consegue fazer aquilo para o que foi programada; já a forte consegue
assimilar conteúdos, é versátil na interpretação e tratamento das
informações. (MAGRANI, 2018). Tal distinção tem relação até mesmo
com as diferentes gerações de computadores. Os antigos não tinham
capacidade de aprendizado, todas as informações, conclusões e
resultados possíveis precisavam ser inseridas na máquina pelo
programador. Hoje em dia, um computador pode exercer atividades
tal como o cérebro humano. Recebe informações de diversas fontes,
de outros computadores, de outros sistemas de IA, para além das
informações que possuía ao tempo de sua programação. Da junção de
todas as informações e dados recebidos, chega à suas próprias
conclusões. (DAVIES, 2011). O Deep Blue, o sistema de inteligência
artificial que venceu Kasparov, o melhor jogador de xadrez do mundo,
embora muito avançado, é um exemplo de IA fraca. Ele não consegue
jogar dama, só consegue avaliar todas as possibilidades do xadrez. Só
consegue fazer aquilo para o que foi programado. O Go – jogo de
tabuleiro Chinês – é muito mais complexo que o xadrez, porque
possui um número infinito de jogadas. O AlphaGo, sistema de IA da
Google, derrotou Ke Jie, o melhor jogador de Go do mundo. Depois
disso, o Google criou outra IA que apreendeu a jogar sozinha, e
derrotou o próprio AlphaGo. Esses são exemplos de IA forte, assim
como o Watson da IBM. IA consegue até mesmo blefar jogando Poker.
(MAGRANI, 2018). A IA forte, estruturadas pela técnica da
aprendizagem profunda (Deep Learning), um ramo do chamado
aprendizado de máquinas (Machine Learning), irá levar a humanidade
para um nível de desenvolvimento jamais visto por que estão cada vez
mais autônomas e imprevisíveis. Os sistemas de IA hoje são capazes
de aprender; de treinar a si próprios através do acúmulo de
experiências anteriores próprias e de outros agentes, chegando as
suas próprias conclusões de forma absolutamente imprevisível.
(ČERKAA; GRIGIENĖA; SIRBIKYTĖB, 2015). ↵
6. P2P (do inglês peer-to-peer, que significa par-a-par) é uma
arquitetura de redes de computadores em que cada um dos pontos
ou nós da rede funciona tanto como cliente quanto como servidor,
permitindo compartilhamentos de serviços e dados sem a
necessidade de um servidor central. Em outras palavras, é um
formato de rede de computadores em que a principal característica é
descentralização das funções convencionais de rede, em que o
computador de cada usuário conectado acaba por realizar funções de
servidor e de cliente ao mesmo tempo. (CIRIACO, 2018). ↵
7. Falsos positivos são alarmes falsos. Por exemplo, quando o antivírus
acusa que arquivos ou programas estão infectados quando na verdade
não estão. Já um falso negativo seria aquela situação de realização de
compra pela internet que, na finalização, indica que o cartão utilizado
é inválido. Esse tipo de aviso equivocado ocorre com menos
frequência hoje porque os sistemas de detecção de fraude estão
melhor desenvolvidos. ↵
8. Phishing é uma prática criminosa implementada através da internet
para que o usuário vítima revele informações pessoais, como senhas
ou cartão de crédito, CPF e número de contas bancárias. A prática
ocorre através de envio de e-mails falsos ou direcionamento para
websites falsos. Para saber mais, vide:
https://www.techtudo.com.br/listas/2018/06/os-dez-tipos-de-
phishing-mais-comuns.ghtml. ↵
9. “There are two main reasons to use artificial intelligence to derive a
credit score. One is to assess creditworthiness more precisely. The
other is to be able to consider people who might not have been able
to get a credit score in the past, or who may have been too hastily
rejected by a traditional logistic regression-based score. In other
words, a method that looks at certain data points from consumers’
credit history to calculate the odds that they will repay.” (CROSMAN,
2017) ↵
10. Bots, termo diminutivo de Robot, são robôs digitais que, imitando
comportamentos humanos, vem sendo utilizados na web para as mais
diversas tarefas. Os mais comuns são os Chatbots, que são programas
de computadores programados para funcionarem como atendentes e
responderem perguntas formuladas pelas pessoas na rede. Para
entender melhor sobre o que são os bots e como eles podem nos
influenciar, vide: https://feed.itsrio.org/tagged/bots. ↵
11. Para conhecer um pouco mais sobre o super app, vide documentário
sobre o tema: WeChat the Chinese Super App. Disponível em:
https://www.youtube.com/watch?v=Qtm3V74HCzc. ↵
12. A questão da IA e o futuro das profissões foi objeto de pesquisa do
McKinsey Global Institute no ano de 2017, resultando em um report
muito interessante intitulado: Jobs lost, jobs gained: What the future
of work will mean for jobs, skills, and wages. Disponível em:
https://www.mckinsey.com/featured-insights/future-of-
work/jobs-lost-jobs-gained-what-the-future-of-work-will-mean-
for-jobs-skills-and-wages, acesso em 29 jan., 2019. ↵
13. Esse é um dado e uma opinião pessoal de Paulo Rogério Silva, ex-
superintendente do Santander e ex-diretor de marketing,
distribuição e estratégia de segmentos para América Latina do HSBC
e do Citibank, em palestra proferida na Unisinos/RS em 2018 sobre
tendências no varejo financeiro brasileiro. ↵
14. Também conhecido pela sigla GDPR - General Data Protection
Regulation. Para aprofundamento, vide o Manual da legislação
Europeia sobre proteção de Dados, disponível no link:
https://www.echr.coe.int/Documents/Handbook_data_protection_POR.pdf
↵
15. Art. 7º, LGPD: O tratamento de dados pessoais somente poderá ser
realizado nas seguintes hipóteses: I - mediante o fornecimento de
consentimento pelo titular; II - para o cumprimento de obrigação
legal ou regulatória pelo controlador; III - pela administração pública,
para o tratamento e uso compartilhado de dados necessários à
execução de políticas públicas previstas em leis e regulamentos ou
respaldadas em contratos, convênios ou instrumentos congêneres,
observadas as disposições do Capítulo IV desta Lei; IV - para a
realização de estudos por órgão de pesquisa, garantida, sempre que
possível, a anonimização dos dados pessoais; V - quando necessário
para a execução de contrato ou de procedimentos preliminares
relacionados a contrato do qual seja parte o titular, a pedido do titular
dos dados; VI - para o exercício regular de direitos em processo
judicial, administrativo ou arbitral, esse último nos termos da Lei de
Arbitragem; VII - para a proteção da vida ou da incolumidade física do
titular ou de terceiro; VIII - para a tutela da saúde, em procedimento
realizado por profissionais da área da saúde ou por entidades
sanitárias; IX - quando necessário para atender aos interesses
legítimos do controlador ou de terceiros, exceto no caso de
prevalecerem direitos e liberdades fundamentais do titular que exijam
a proteção dos dados pessoais; ou X - para a proteção do crédito,
inclusive quanto ao disposto na legislação pertinente. (grifado). ↵
16. A ANPD – Autoridade Nacional de Proteção de Dados foi criada pela
Medida Provisória nº 869/2018 e será um órgão da administração
pública direta; integrante da Presidência da República. A LGPD, na
sua parte vetada, submetia a ANPD à regime autárquico especial e
vinculado ao Ministério da Justiça. A celeuma sobre a ANPD não
termina. Incialmente sua criação foi objeto de veto e, agora, na sua
efetiva criação foi vinculadaà Presidência da República, o que pode
ser um prejuízo a sua independência, embora se assegure sua
autonomia técnica. (LEMOS, et. al., 2018) ↵
17. Art. 22 GDPR. Automated individual decision-making, including
profiling. 1. The data subject shall have the right not to be subject to a
decision based solely on automated processing, including profiling,
which produces legal effects concerning him or her or similarly
significantly affects him or her. 2. Paragraph 1 shall not apply if the
decision: (a) is necessary for entering into, or performance of, a
contract between the data subject and a data controller; (b) is
authorised by Union or Member State law to which the controller is
subject and which also lays down suitable measures to safeguard the
data subject’s rights and freedoms and legitimate interests; or (c) is
based on the data subject’s explicit consent. 3. In the cases referred
to in points (a) and (c) of paragraph 2, the data controller shall
implement suitable measures to safeguard the data subject’s rights
and freedoms and legitimate interests, at least the right to obtain
human intervention on the part of the controller, to express his or
her point of view and to contest the decision. 4. Decisions referred to
in paragraph 2 shall not be based on special categories of personal
data referred to in Article 9(1), unless point (a) or (g) of Article 9(2)
applies and suitable measures to safeguard the data subject’s rights
and freedoms and legitimate interests are in place. (grifado) ↵
18. Art. 20. O titular dos dados tem direito a solicitar a revisão de
decisões tomadas unicamente com base em tratamento automatizado
de dados pessoais que afetem seus interesses, incluídas as decisões
destinadas a definir o seu perfil pessoal, profissional, de consumo e
de crédito ou os aspectos de sua personalidade. § 1º O controlador
deverá fornecer, sempre que solicitadas, informações claras e
adequadas a respeito dos critérios e dos procedimentos utilizados
para a decisão automatizada, observados os segredos comercial e
industrial. § 2º Em caso de não oferecimento de informações de que
trata o § 1º deste artigo baseado na observância de segredo comercial
e industrial, a autoridade nacional poderá realizar auditoria para
verificação de aspectos discriminatórios em tratamento
automatizado de dados pessoais. (grifado) ↵
6. Inteligência artificial, self-driving cars, e suas
consequências jurídicas em caso de acidentes
Gregório Soria Henriques[1]
1. O que são “self-driving cars”?
Conforme definido pela National Highway Traffic Safety Administration – NHTSA,
agência federal de transporte americana, veículos autônomos são aqueles em que
pelo menos algumas das funções críticas de segurança (e.g. direção, aceleração, ou
frenagem) ocorrem sem qualquer interação do motorista[2]. Assim, um “self-driving
car” (ou carro autônomo) é um veículo que é capaz de escanear o seu ambiente e
navegar sem comandos humanos. Esses veículos utilizam tecnologias como radares,
laser, GPS, visão computadorizada, etc., e, com base nas informações colhidas sobre
o seu ambiente, um sistema avançado de controle identifica os melhores caminhos,
além de identificar obstáculos e sinais relevantes.
Portanto, para que um veículo seja considerado um carro autônomo, é necessário
que o sistema tenha uma performance satisfatória na presença de incertezas no
ambiente e seja capaz de compensar por falhas sistêmicas sem intervenção
externa[3].
Com base nesse conceito, a National Highway Traffic Safety Administration –
NHTSA publicou uma escala com cinco níveis diferentes, que variam de acordo com
a automatização do sistema[4]:
Nível 0: sem qualquer automação. O motorista tem o controle total e solitário
dos controles primários do veículo (freios, direção, e aceleração) a todo tempo,
além de ser o único responsável por monitorar a via e pela segura operação de
todos os controles do veículo. Veículos que têm algum suporte ou sistemas de
conveniência ao motorista, mas que não têm controle ou autoridade sobre os
controles primários do veículo ainda são considerados Nível 0. Exemplos desse
nível incluem sistemas que expeçam advertências, que tenham para-brisas e
faróis automáticos, etc.;
Nível 1: automação específica por função. A automação nesse nível envolve um
ou mais dos controles primários do veículo. O motorista ainda tem controle total
e é o único responsável pela segurança, mas ele pode escolher por ceder um
controle primário (e.g. cruise control), ou o sistema autônomo pode auxiliar em
determinadas situações de acidente iminente (e.g. auxílio de freio em
emergências). O veículo de Nível 1 possui diversas tecnologias capazes de evitar
um acidente, mas ele ainda não substitui a vigilância do motorista, nem retira a
sua responsabilidade, já que ele apenas possui a função de auxiliar;
Nível 2: automação de combinação de funções. Esse nível envolve a automação
de, pelo menos, dois controles primários do veículo, trabalhando em conjunto
para dispensar o motorista em relação a essas funções. Nesse caso, o motorista
ainda é responsável pelo monitoramento da rodovia e pela segurança da
operação, além de dever estar sempre à disposição, já que o sistema pode lhe
devolver o controle total a qualquer momento e sem aviso;
Nível 3: automação limitada. Veículos desse nível permitem que o motorista ceda
controle total de todas as funções críticas de segurança em determinadas
circunstâncias (e.g. trânsito). Nesse caso, o motorista deve estar disponível
ocasionalmente para reassumir o controle, mas com tempo suficiente de
transição;
Nível 4: automação plena. O veículo é destinado para desenvolver todas as
funções críticas de segurança e monitorar as condições da via durante toda a
viagem. Esse veículo antecipa que o motorista irá providenciar a destinação ou a
navegação, mas que não estará disponível durante nenhum momento. Esse nível
inclui tanto veículos ocupados, como não ocupados.
Ou seja, no Nível 4, nível máximo que pode ser atingido e que será adotado como o
padrão nos termos deste trabalho, o sistema operacional de um carro autônomo
funciona como um motorista, na medida em que ele tem que coletar informações
sobre o ambiente ao seu redor, processá-las, e, com base nelas, tomar decisões;
isso sem qualquer auxílio externo. É justamente essa tomada de decisões sem o
auxílio humano que faz com que esse sistema operacional seja excepcional,
distinguindo-se dos sistemas operacionais comuns, que são utilizados em
computadores pessoais e similares, e mesmo em carros autônomos de níveis
inferiores. Nestes, o usuário dá o comando e o computador o realiza sem ter que
tomar qualquer decisão, ou o computador toma a decisão e realiza a tarefa que,
mesmo assim, deve ser aprovada por um ser humano. Já nos carros autônomos de
Nível 4, o programador apenas dá as diretrizes básicas que serão aplicadas pelo
próprio sistema operacional de acordo com as suas próprias decisões. O sistema
operacional “pensa”.
Atualmente, a Google (Waymo[5]) e a Uber são duas das empresas que
desenvolvem projetos de carros autônomos.
2. Benefícios dos “self-driving cars”
Os “self-driving cars” trazem uma série de benefícios, como redução dos gastos
com infraestrutura, melhoria na mobilidade urbana, dentre outros, mas não são
todos que interessam ao foco deste trabalho. De fato, o foco é “inteligência artificial
e inclusão” e, nesse contexto, o benefício mais importante trazido pelos carros
autônomos é a inclusão de pessoas que, em relação a um carro comum, não
conseguiam ou tinham mais dificuldade em utilizá-lo: portadores de deficiência,
pessoas idosas, crianças etc.
Isso se deve à possibilidade de estas pessoas terem mais independência na sua
locomoção. Isso porque, mesmo com os diversos avanços tecnológicos que
reduziram distâncias – como, por exemplo, a Internet e a possibilidade de cursos à
distância não presenciais – a locomoção ainda continua a ser um aspecto
importante da vida em sociedade. A locomoção ainda é importante para que
pessoas consigam resolver seus problemascotidianos (ir ao banco, ir ao INSS),
interagir com outras pessoas (ir a uma festa ou a algum evento social), e até mesmo
relaxar, já que ficar em um ambiente confinado por longos períodos de tempo pode
fazer mal à saúde mental e ter impactos negativos na saúde física e psíquica de
indivíduos. Desse modo, mesmo que a tecnologia tenha facilitado a vida dessas
pessoas, a locomoção ainda é um aspecto muito importante da vida humana.
Em relação aos portadores de deficiência[6], a remoção do volante e o fato de os
assentos não mais terem que “olhar para frente” proporcionaria maior espaço
interno e maior mobilidade dentro do veículo, facilitando o posicionamento de
cadeiras de rodas, por exemplo. Além disso, a visão do motorista não seria mais
essencial à direção, já que a única visão necessária seria a do sistema, possibilitando
que deficientes visuais não mais necessitassem que alguém dirigisse para eles, o
que aumentaria a sua qualidade de vida e diminuiria os seus custos. Em caso
semelhante, os deficientes auditivos.
Por outro lado, pessoas idosas[7] e com locomoção reduzida, que já são
beneficiadas pelo sistema de troca de marcha automático, seriam ainda mais
beneficiadas, já que não teriam que fazer nenhum esforço. Crianças poderiam ser
transportadas de modo seguro até suas escolas ou outros lugares, não mais
dependendo que algum responsável as leve, o que reduziria a carga de trabalho de
mães e pais solteiros, por exemplo.
E, por fim, carros autônomos reduziriam os custos trabalhistas com motorista e
os custos com seguro (já que o carro autônomo seria mais seguro, uma vez que não
é tão falho como o ser humano), tornando o transporte mais barato, inclusive o
público, e permitindo uma maior mobilidade urbana, que, no fim, acaba incluindo a
todos.
Enfim, a lista de benefícios trazidos pelos carros autônomos é extensa e, por não
ser esse o objetivo deste trabalho, optou-se por fazer uma análise breve sobre eles.
3. A responsabilidade civil em caso de acidentes envolvendo
carros autônomos
a. Introdução
Apesar de decisões tomadas por computadores serem eventualmente mais seguras
do que as tomadas por humanos, computadores não são perfeitos ou infalíveis e,
portanto, é plausível pensar que carros autônomos possam apresentar defeitos.
Nesse contexto, é importante examinar a responsabilidade civil em caso de
acidentes envolvendo carros autônomos:
Quem é responsável quando se trata de carro autônomo de Nível 4?
E nos Níveis 2 e 3?
Enquanto a atual legislação e jurisprudência nacionais não tratam do assunto, cabe
à doutrina, em especial a comparada, encontrar soluções para esses problemas que,
com certeza, surgirão no futuro.
b. O atual estágio de desenvolvimento dos carros
autônomos
Atualmente, a líder no desenvolvimento de carros autônomos é a Google,
desenvolvendo um software para carros que já são produzidos, como Toyotas,
Priuses, Audis e Lexus. Assim, não se trata de um veículo que é completamente
autônomo, mas sim um sistema que transforma um carro em autônomo[8]. Esse
sistema utiliza sensores e um software para detectar pedestres, ciclistas, outros
veículos, obras etc., em uma distância de até 330 metros[9], num em um raio de
360º[10]. Após a detecção pelos sensores, o sistema[11] prevê o comportamento de
cada um dos outros elementos na rodovia: isso é possível porque o sistema se
baseia em 5 milhões de experiências reais para extrapolar um cenário que seja o
mais compatível possível com a realidade. Um dos exemplos que a Google utiliza em
seu site é o do ciclista que levanta o seu braço esquerdo; detectando o sinal, o
software prevê que ele vá virar à esquerda e adequa o seu comportamento,
reduzindo a sua velocidade e dando espaço para que o ciclista passe de modo
seguro à frente do carro.
Apesar de o plano da Google ser um carro completamente autônomo (Nível 4), o
seu design atual, até por conta da presente legislação sobre o assunto, ainda requer
um motorista atrás do volante (Nível 3). Desse modo, ocorrendo qualquer situação
excepcional, o veículo pode acionar o motorista para que ele assuma o controle.
Além disso, os carros se comunicam entre si, trocando informações entre eles e
com o sistema central da Google, que coleta os dados de todos os carros
autônomos, mantendo o sistema sempre atualizado. Isso é a base para o futuro dos
carros autônomos: eles se tornarão cada vez mais seguros, na medida em que se
comunicam entre si, e entre outros elementos na via (e.g. sinais de trânsito), o que
reduziria a quase zero a falibilidade.
c. Regulação Estrangeira
Em relação aos carros autônomos e a sua regulamentação, o direito americano se
torna o grande foco, na medida em que a maioria dos carros autônomos são
produzidos lá. Desse modo, é importante fazer uma rápida análise da
regulamentação em solo americano.
A National Highway Traffic Safety Administration – NHTSA, atualmente, ainda
estuda a tecnologia decorrente de carros autônomos e a sua possível regulação.
Mas ela recomenda que os Estados não autorizem o uso público de carros
autônomos enquanto isso[12]. NE, nesse contexto, vários Estados americanos têm
optado por não aprovar, ainda, qualquer regulação até que se chegue a um
consenso sobre a responsabilidade civil decorrente de dano causado pelo uso de
carros autônomos.
No entanto, os Estados de Nevada, Califórnia e Flórida (Estados nos quais os
carros autônomos são testados na prática) já aprovaram leis regulamentando
regulando os carros autônomos, sem, entretanto, permiti-los sem motoristas.
Somente àa título de curiosidade, o Estado de Nevada inclusive já desenvolveu o
formato e design da placa de carros autônomos[13], mas o Chapter 482-A, que
disciplina a matéria, não traz qualquer previsão de responsabilidade civil, regulando
apenas os testes dos veículos.
A União Europeia, por outro lado, já tem proposta de regulamentação de atos
independentes da inteligência artificial (Resolução 2015/2103 [INL], de 16 de
fevereiro de 2017, com recomendações à Comissão de Direito Civil sobre Robótica)
[14]. Essa resolução tem como objetivo tentar se adiantar ao próprio
desenvolvimento tecnológico, para moldá-lo de forma a serem respeitados
determinados princípios éticos. Nesse cenário, ela leva em consideração a
possibilidade concreta de que, em um futuro bem próximo , a inteligência artificial
vá além da inteligência humana. Ou seja, a partir de uma base fornecida pelo
programador, a inteligência artificial evoluiria tanto por si mesma que ela
ultrapassaria a inteligência humana, até mesmo em virtude da velocidade de seus
processamentos. Desse modo, seria de suma importância a análise da
responsabilidade civil da própria inteligência artificial. E, adiantando o ponto a ser
abordado posteriormente, essa responsabilidade, num primeiro momento, recairia
objetivamente sobre quem estiver mais bem colocado para oferecer garantias[15].
Ainda segundo a resolução europeia, seria considerada inteligência autônoma
(artificial) aquela que tenha autonomia para captar dados do seu ambiente e
analisá-los, para aprender por si mesma, que tenha suporte físico, e que consiga
adaptar o seu comportamento ao ambiente em que se encontra[16].
Mas, se essa inteligência artificial é capaz de analisar o ambiente em que se
encontra, adaptar seu comportamento e aprender sozinha, resta a indagação sobre
qual seria a diferença entre uma decisão tomada por essa inteligência e uma
tomada por um ser humano. Apesar de, no futuro, a inteligência artificial poder ser
muito mais avançada do que a inteligência humana, não haveria motivos para que as
decisões tomadas por ela (inteligência artificial) não fossem de sua própria
responsabilidade. Até porque, se, de fato, ela for mais avançada do que o seu criador
ou seu dono, como responsabilizá-lo por isso?
A exposição de motivos da resolução europeia tenta tratar da questão. Isso
porque a futura autonomia dos robôs faria com que eles deixassem de ser meros
instrumentos ou ferramentas de fabricantes, usuários, etc. Desse modo, as
tradicionais regras de responsabilidadecivil seriam inadequadas para tratar do
assunto, já que a máquina não seria vista como possuidora de capacidade jurídica
apta a responder por seus atos. Assim, seria necessária a determinação de um
estatuto jurídico do robô[17].
Também interessante registrar a origem da palavra “robô”: de origem tcheca
(robota), ela significa “trabalho forçado”. Ela surgiu na peça do dramaturgo Karel
Čapek, na qual um autômato com forma humana fazia tudo no lugar do homem.
Nesse contexto, é relevante a comparação da inteligência artificial com o estatuto
jurídico dos escravos no direito romano. Isso porque, no direito romano, o escravo
não era sujeito de direito, sendo considerado uma coisa. Mas, obviamente, os seus
atos eram humanos e, portanto, conscientes, inteligentes e autônomos. Mas, como
ele não tinha capacidade jurídica, o chefe de família era o responsável por ele,
responsabilizando-se pelos seus atos (tal como é hoje em relação aos animais)[18]. Do
mesmo modo, em relação aos atos de inteligências artificiais, os seus proprietários
poderiam ser responsabilizados pelos seus atos.
Essa seria uma alternativa ao estatuto jurídico do robô, o qual encontra bastante
resistência atualmente, já que ainda seria considerada ficção científica. Assim,
nenhum projeto legislativo sobre o tema atribui personalidade jurídica à inteligência
artificial[19].
Thatiane Cristina Fontão Pires e Rafael Peteffi da Silva[20] falam em
responsabilidade objetiva semelhante à responsabilidade vicária (“casos de
responsabilidade pelo fato de terceiro, derivada de um dever de guarda, vigilância e
cuidado, nos termos do art. 932 do Código Civil, como a responsabilidade dos pais
pelos atos dos filhos menores que estiverem sob o seu poder e em sua companhia, o
tutor e o curador pelos pupilos e curatelados, e o patrão pelos atos dos seus
empregados”[21]). Os autores continuam o seu pensamento, argumentando que,
nesse caso, a responsabilidade pela inteligência artificial dependeria de quem
estivesse fazendo uso dela: (i) se ela é usada por um fornecedor para prestar
serviços ou oferecer produtos; (ii) se ela é usada por um usuário para desempenhar
determinadas atividades. Além disso, eles aduzem que, se o robô detém a
capacidade de aprender da sua própria experiência, caberá ao seu responsável
(proprietário/usuário) um correspondente dever de guarda e vigilância[22].
É nesse sentido que a resolução europeia determina a responsabilidade pelos
atos da inteligência artificial a quem “a ensinou”[23].
d. Possível aplicação do CDC
Para uma possível aplicação do CDC ao caso, deve-se, num primeiro momento,
averiguar se há defeito do produto ou não. Isso porque, nos termos do art. 12 do
CDC, “o fabricante, o produtor, o construtor, nacional ou estrangeiro, e o
importador respondem, independentemente da existência de culpa, pela reparação
dos danos causados aos consumidores por defeitos decorrentes de projeto,
fabricação, construção, montagem, fórmulas, manipulação, apresentação ou
acondicionamento de seus produtos, bem como por informações insuficientes ou
inadequadas sobre sua utilização e riscos” (grifou-se).
Continua o Código, no §1º deste artigo, que produto defeituoso é aquele que não
oferece a segurança que dele legitimamente se espera, levando-se em consideração
as circunstâncias relevantes (apresentação, usos e riscos que razoavelmente dele se
esperam, época em que foi colocado em circulação, etc.).
Tratando-se de carros autônomos, por óbvio que o CDC pode ser aplicado nas
mesmas situações em que seria aplicado quando envolvesse um carro não-
autônomo, como, por exemplo, no caso de freios defeituosos. Mais especificamente
aos carros autônomos, é fácil perceber que o CDC pode ser aplicado em relação à
má fabricação dos sensores que captam o ambiente ao redor do carro.
Mas poder-se-ia alegar defeito em relação ao software, ou seja, em relação à
inteligência em si?
Segundo o art. 1º da L. 9.609/98:, “
Programa de computador é a expressão de um conjunto organizado de
instruções em linguagem natural ou codificada, contida em suporte físico de
qualquer natureza, de emprego necessário em máquinas automáticas de
tratamento da informação, dispositivos, instrumentos ou equipamentos
periféricos, baseados em técnica digital ou análoga, para fazê-los funcionar
de modo e para fins determinados”.
Com base nisso, os tribunais têm entendido que a relação entre o fornecedor do
software e o usuário é de consumo, havendo vício quando não há o funcionamento
total ou parcial do software, de modo a frustrar os fins a que o programa se dirigia.
Ou seja, a responsabilidade do fornecedor é baseada na expectativa criada no
consumidor levando em conta o que ele (fornecedor) anuncia. Assim, se o
fornecedor anuncia que o seu programa é capaz de processar pagamentos por
cartão de crédito, se o programa não realiza tal operação, há vício no produto.
TJSC. […] INEXISTÊNCIA DE DÉBITO E RESCISÃO CONTRATUAL.
CONTRATO PARTICULAR DE LICENÇA DE USO DE SOFTWARE. […]
ALEGAÇÃO DE QUE SE ESMEROU PARA ATENDER O OBJETO DO
CONTRATO. AUSÊNCIA DE ELEMENTOS E TAMPOUCO DE INDÍCIOS A
CORROBORAREM AS ASSERTIVAS […]. PARTE AUTORA QUE FAZ JUS À
RESCISÃO CONTRATUAL E A DEVOLUÇÃO DA PARCELA PAGA. […]
sentença proferida pelo juízo da 1a Vara Cível da comarca da Capital que […]
julgou procedentes os pedidos formulados […] para decretar a rescisão do
contrato de licença de uso de software firmado entre as partes; declarar a
inexistência de débito […]; condenar a […] devolver […] o valor
correspondente à parcela paga […]; […] pagamento das custas processuais e
honorários advocatícios, […]. […] restou satisfatoriamente comprovado que
o produto e a prestação do serviço oferecidos pela apelante eram viciados e
defeituosos, não atingindo o objetivo pactuado, senão veja-se: “[…] a loja
ficou sem sistema por uma semana (na semana passada) […] a base de dados
corrompeu. […] O sistema ainda não funciona com a bandeira da VISA; Isto
foi prometido em agosto para 15 de Setembro. […] Estamos pior do que
estávamos antes (pelo menos o sistema rodava). A empresa local não parece
dominar o produto nem a Tecnologia. Já houve perdas de dados (isto que o
sistema ainda nem entrou em funcionamento). […]”. […] restou demonstrado
que nem o serviço nem o produto oferecidos pela recorrente
correspondiam ao objeto do contrato, não há como manter a avença
celebrada entre as partes […].[24]
Quando se trata de inteligência artificial, por outro lado, é possível encontrar um
problema já em relação ao art. 1º da L. 9.609/98: a lei fala em fazer os dispositivos
funcionarem de modo e para fins determinados. Quando se tem em mente um
programa de computador mais básico, é possível aplicar a lei sem qualquer
problema. Pense-se na calculadora de um computador ou num processador de
texto. Nesses casos, o programa é feito de maneira tal que a um input corresponde
uma ação. O programa e o computador não têm que fazer nada mais do que uma
operação de correlação.
No entanto, em relação a inteligências artificiais, o programa é “incompleto”. Ou
seja, o programador não pensa em todos os possíveis comandos e ações que o
programa poderia realizar. Portanto, cabe à própria máquina aprender e evoluir,
extrapolando as simples linhas de código que a compõem.
Nesse contexto, como determinar que o programa falhou ao tomar uma decisão à
qual chegou não por conta de linhas de códigos, mas porque é capaz de fazer
conexões por si mesmo e, por isso, “pensar”? Nesses casos, a inteligência artificial
pode ser mais inteligente que a própria inteligência que a criou, sendo o seu
criador, portanto, inapto a controlar a sua própria criação. Como, então, atribuir
responsabilidade ao fornecedor por algo que ele sequer pode controlar?
Ou seja, é necessário indagar se as consequências lesivas de atos independentes
da inteligência artificial devem ser consideradas abrangidas por defeitos do produto
(risco do desenvolvimento), ou se, por se tratar de circunstância imprevisível,
configuraria fato do produto pela simples circunstância de havercausado dano.
Alguns autores[25] filiam-se à segunda corrente, especialmente em relação aos
carros autônomos. Eles adotam a premissa de que qualquer dano causado pela
inteligência artificial será resultado de falha humana res ipsa loquitor, seja falha de
projeto, fabricação, montagem, ou de informação. Assim, prescindível qualquer
distinção entre os casos em que há vício de concepção ou produção e os casos de
danos causados por atos independentes da inteligência artificial.
Thatiane Cristina Fontão Pires e Rafael Peteffi da Silva[26] argumentam que a
aplicação da responsabilidade objetiva, nesse caso, exigiria apenas a prova de que
ocorreu um dano e o nexo de causalidade entre este e o funcionamento lesivo do
robô. Além disso, pela abordagem de gestão de riscos, a responsabilidade não se
concentraria na pessoa que atuou de forma negligente, mas na pessoa capaz, nas
circunstâncias, de minimizar riscos e lidar com impactos negativos. Em relação a
esse ponto, os autores trazem à tela a “teoria deep pocket”, segundo a qual:
“Toda pessoa envolvida em atividades que apresentam riscos, mas que, ao
mesmo tempo, são lucrativas e úteis para a sociedade, deve compensar os
danos causados pelo lucro obtido. Seja o criador da IA, seja o fabricante de
produtos que empregam IA, seja uma empresa ou um profissional que não
está na cadeia produtiva da IA, mas que a utiliza em sua atividade, como uma
transportadora que usa os veículos autônomos, isto é: aquele que tem o
‘bolso profundo’ e aproveita os lucros dessa nova tecnologia deve ser o
garante dos riscos inerentes às suas atividades, sendo exigível, inclusive, que
se faça um seguro obrigatório de danos.”[27].
e. Cenários
Jeffrey K. Gurney, da Universidade da Carolina do Sul (EUA), em seu artigo “Sue my
car not me: products liability and accidents involving autonomous vehicles”[28], analisa
a responsabilidade civil em caso de acidentes envolvendo carros autônomos em
quatro cenários diferentes:
Motorista distraído
Motorista com capacidade reduzida
Motorista com alguma deficiência
Motorista atento
A esses cenários pode-se adicionar mais um, qual seja, o acidente causado não por
uma falha no sistema, mas por ato independente da inteligência artificial.
f. Motorista distraído
João adquire um carro autônomo para que seja mais produtivo em seu tempo.
Assim, enquanto vai de carro ao trabalho, ele lê algum material importante e come
um sanduíche como café da manhã, confiando que o sistema do carro autônomo o
levará em segurança ao seu destino. No entanto, o sistema sofre uma falha e o carro
atinge outro veículo, sem antes avisar a João que retome o controle.
O motorista distraído é alguém capaz, mas que, por confiar no sistema, se distrai
durante a viagem. Nesse caso, no entanto, não há dúvida de que foi o carro de João
que causou o acidente. Mas quem deve ser o responsável pelos danos causados:
João, o motorista por detrás do volante? Ou o fabricante do carro e do sistema[29]?
Como analisado anteriormente neste trabalho, a conclusão a que se pode chegar
nesse caso é que a responsabilidade seja do fabricante do carro e do sistema. Isso
porque, nesse caso, trata-se de óbvio defeito do produto, já que ele falhou naquilo
que era o seu fim, inclusive quebrando a confiança depositada pelo consumidor.
Isto é, João adquiriu um carro autônomo justamente pelas facilidades que lhe são
proporcionadas e o sistema, sem qualquer aviso para que João retomasse o
controle, quebrou essa confiança.
Portanto, a responsabilidade seria integralmente do fabricante.
g. Motorista com capacidade reduzida
Ricardo, senhor já de 80 anos, sofre com as mazelas da idade avançada: sua visão
não é mais a mesma, seus reflexos são mais lentos, suas mãos e seus pés já não têm
a mesma sensibilidade, etc. Por conta disso, ele compra um carro autônomo, mas,
no caminho até o seu destino, o sistema sofre uma falha e Ricardo não reage a
tempo de evitar um acidente.
O motorista com capacidade reduzida é aquele cujas capacidades são reduzidas
por qualquer motivo: idade avançada, crianças, pessoas embriagadas, etc. Esse tipo
de motorista não estaria dirigindo por conta da sua capacidade reduzida, mas entra
no carro por confiar no sistema.
Aqui, a solução seria a mesma do cenário anterior, só que o motorista, nesse caso,
confia ainda mais no produto, já que, mesmo com um aviso para que retomasse o
controle poderia ser que, por conta da sua capacidade reduzida, evitar o acidente
poderia ser muito difícil (capacidade reduzida) ou impossível (crianças). Desse
modo, não há como negar que há uma quebra na confiança depositada pelo
consumidor naquilo que foi divulgado pelo fabricante, devendo este ser
responsabilizado pelo acidente em virtude também do defeito do produto.
h. Motorista com alguma deficiência
Cristina, cega, adquire um carro autônomo como forma de não depender
sobremaneira de outras pessoas. No entanto, no caminho até o seu médico, o
sistema falha e a avisa que ela deve assumir o controle do carro. Cristina, por ser
cega, não pode assumir o controle e um acidente ocorre.
O motorista com alguma deficiência é aquele portador de deficiência que, em
circunstâncias normais, não poderia dirigir um carro: cegos, pessoas sem os
membros ou com paralisia, etc. Assim, ele depende inteiramente do sistema do
veículo.
Trata-se de caso semelhante aos dois cenários previamente analisados. A
diferença é que a confiança depositada no produto e a dependência dele são
maiores a cada cenário:
No 1º cenário (motorista distraído), o motorista teria plena capacidade de evitar
um acidente, mas confia no sistema.
Já no 2º cenário (motorista com capacidade reduzida), as possibilidades do
motorista de evitar o acidente são reduzidas e, assim, o motorista não só confia
no sistema como depende em parte dele.
Por fim, nesse 3º cenário (motorista com alguma deficiência), evitar o acidente é
impossível para o motorista e, desse modo, ele não só confia no sistema, como
depende inteiramente dele.
Portanto, resta evidente que a responsabilidade, nesse caso, deve ser do fabricante,
já que o motorista não teria a menor possibilidade de evitar o acidente em caso de
falha, mesmo que houvesse um aviso para retomar o controle. Trata-se de defeito
do produto e quebra da confiança.
i. Motorista atento
Paulo nunca confiou muito em carros autônomos, mas resolveu adquirir um. Nas
primeiras vezes em que utilizou o carro, Paulo prestou completa e total atenção.
Passados alguns meses, ele passou a confiar mais no sistema e começou a realizar
outras atividades no caminho. Um dia, no entanto, o carro começa a pender para a
esquerda, em uma óbvia falha do sistema. Ao invés de assumir o controle, Paulo
apenas observa, esperando que o sistema conserte a si mesmo. Entretanto, havia
um outro carro no ponto cego e um acidente ocorre.
O motorista atento é aquele motorista que presta atenção no caminho como se
estivesse dirigindo. Portanto, ele tem a capacidade de prever e evitar acidentes,
diferentemente dos outros cenários.
Por conta dessa diferença, esse cenário apresenta uma solução um pouco
diferente. Isso porque, apesar de ter havido a falha do sistema e, por conseguinte, o
defeito do produto, o motorista, ao não fazer nada, mesmo podendo, também
contribuiu para o acidente. Trata-se, portanto, de um caso de responsabilidade
compartilhada entre o fabricante e o motorista, na medida de suas culpabilidades.
j. Ato independente da inteligência artificial
Rafael, cansado com o tempo perdido durante o trânsito, adquire um carro
autônomo para que ele possa realizar outras tarefas no caminho. Assim, confiando
plenamente no sistema, Rafael passa o trajeto de sua casa ao trabalho e o retorno
trabalhando. No entanto, um certo dia, ocorre um acidente, com o carro
atropelando um pedestre que atravessava a rua fora da faixa de pedestre. Feitas
análises no sistema, foi descoberto que, analisando o ambiente em que se
encontrava, o sistema tomou a decisão errada de que o pedestre não iria atravessar
a rua e, por isso, não reduziu a suavelocidade.
O ato independente da inteligência artificial é aquele no qual não há qualquer
falha no sistema, mas sim uma tomada de decisão equivocada. Isso porque, assim
como os seres humanos, o sistema é passível de equívocos, apesar de mais raros[30].
Desse modo, o sistema pode fazer uma análise equivocada das circunstâncias, como
ver um pedestre na calçada fora da faixa de pedestre e não achar que ele vá
atravessar a rua, quando, na verdade, é justamente isso que ele faz.
A responsabilidade nesse caso foi tratada quando da análise do direito
estrangeiro. De fato, nenhum ordenamento jurídico, hoje, é adequado para lidar
com essa situação. O que se pode fazer, portanto, é aplicar o direito existente,
mesmo que a solução encontrada não seja tão satisfatória. Assim, como analisado
anteriormente, poder-se-ia falar em responsabilidade por atos de terceiros
(aplicação analógica do art. 932 do CC), com o criador da inteligência respondendo
por seus atos.
Entende-se, aqui, que seria inviável a responsabilização do usuário consumidor
(motorista comum), já que, sendo a parte vulnerável, ele deposita a sua confiança no
produto que lhe é fornecido por alguém que ele presume que tenha maior expertise
no assunto. Já em relação ao usuário não-consumidor (e.g. empresas
transportadoras que utilizem caminhões autônomos), entende-se, aqui, que a
responsabilidade por acidentes causados por atos independentes seja do próprio
usuário não-consumidor, já que se trata de um instrumento utilizado na sua
atividade empresária e, portanto, circunstância dentro do risco interno da
atividade. Poder-se-ia falar em direito de regresso em face do fabricante, mas isso
já seria uma questão fora do acidente em si.
4. Conclusão
Por todo o exposto no presente artigo, entende-se que é necessária a prévia
 regulação do tema. Em que pesem o Código Civil e o Código de Defesa do
Consumidor poderem ser aplicados, a sua ratio não é a aplicação em casos de
inteligência artificial, até porque o ordenamento jurídico brasileiro ainda não
comporta sujeitos de direitos que não sejam seres humanos – ao contrário de
alguns países que já preveem o meio ambiente como detentor de direitos. Assim, é
necessária uma adequação do ordenamento brasileiro à tecnologia que está por vir,
ou, ao menos, uma interpretação mais extensiva e elástica do direito já aplicável.
De qualquer forma, vê-se que ainda é controverso o conceito de um “estatuto
jurídico do robô”. Trata-se de tecnologia que avança muito mais rápido do que a
inteligência e compreensão de mundo humana é capaz de acompanhar. Entretanto,
na prática, é possível perceber que a tecnologia já está quase alcançando uma
realidade que era tida somente como ficção científica. Da robô Sofia aos carros
autônomos, a tecnologia transforma a vida dos indivíduos, e o Direito deve
acompanhar a realidade.
Referências Bibliográficas
ANTSAKLIS, Panos J.; PASSINO, Kevin M.; WANG, S.J. “An Introduction to
Autonomous Control Systems” (1991). Disponível em:
<http://citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1.454.1785&rep=
rep1&type=pdf?> Acesso em 30. Jan. 2019
BRASIL. Tribunal de Justiça do Estado de Santa Catarina. Apelação Cível n.
2008.056831- 7, da Capital. Relator Sérgio Izidoro Heil. Julgamento em 29/09/2011.
Disponível em: <http://app6.tjsc.jus.br/cposg/servlet/ServletArquivo?
cdProcesso=01000CK3C0000&nuSeqProcessoMv=null&tipoDocumento=D&cdAcordaoDoc=null&nuDocumento=3823687&pdf=true>
Acesso em 30. Jan. 2019
GURNEY, Jeffrey K., Sue my car not me: products liability and accidents involving
autonomous vehicles. Disponível em: <http://ssrn.com/abstract=2352108> Acesso
em 30. Jan. 2019
NY TIMES. Disponível em:
<https://www.nytimes.com/2014/11/09/automobiles/in-self-driving- cars-a-
potential-lifeline -for-the-disabled.html?_r=0> Acesso em 30. Jan. 2019
NY TIMES. Disponível em:
<https://www.nytimes.com/2010/10/10/science/10google.html?
pagewanted=all> Acesso em 16. Mar. 2019
PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. A responsabilidade civil
pelos atos autônomos da inteligência artificial: notas iniciais sobre a resolução do
Parlamento Europeu. Rev. Bras. Polít. Públicas, Brasília, v. 7, nº 3, 2017 p. 238-254
Press Release, Nat’l Highway Traffic Safety Admin., Preliminary Statement of
http://ssrn.com/abstract=2352108
Policy Concerning Autonomous Vehicles 10 (May 30, 2013). Disponível em:
<http://www.nhtsa.gov/staticfiles/rulemaking/pdf/
Automated_Vehicles_Policy.pdf> Acesso em 30. Jan. 2019
READ WRITE. Disponível em: <http://readwrite.com/2016/04/22/autonomous-
cars-elderly- disabled-drivers-google-tl4/> Acesso em 30. Jan. 2019
UNIÃO EUROPEIA. Projeto de Relatório que contém recomendações à Comissão
sobre disposições de Direito Civil sobre Robótica (2015/2013(INL)). Relatora Mady
Delvaux, de 31 de maio de 2016. p. 11. Disponível em:
<http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//
NONSGML+COMPARL+ PE-582.443+01+DOC+PDF+V0//PT> Acesso em 30. Jan.
2019
UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de fevereiro de 2017,
com recomendações à Comissão de Direito Civil sobre Robótica (2015/2103(INL)).
Parágrafo 1º.
1. Pós-graduado pela EMERJ. Assessor no TJRJ. ↵
2. Press Release, Nat’l Highway Traffic Safety Admin., Preliminary
Statement of Policy Concerning Autonomous Vehicles 10 (May 30,
2013). Disponível em:
<http://www.nhtsa.gov/staticfiles/rulemaking/ pdf/
Automated_Vehicles_Policy.pdf> Acesso em 30. Jan. 2019. ↵
3. ANTSAKLIS, Panos J.; PASSINO, Kevin M.; WANG, S.J. "An
Introduction to Autonomous Control Systems" (1991). Disponível em:
<http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.454.
1785&rep= rep1&type=pdf?> Acesso em 30. Jan. 2019 ↵
4. Press Release, Nat’l Highway Traffic Safety Admin, op. cit. ↵
5. Disponível em: <https://www.google.com/selfdrivingcar/> Acesso
em 30. Jan. 2019 ↵
6. Disponível em:
<https://www.nytimes.com/2014/11/09/automobiles/in-self-
driving-cars-a-potential-lifeline -for-the-disabled.html?_r=0>
Acesso em 30. Jan. 2019 ↵
7. Disponível em: <http://readwrite.com/2016/04/22/autonomous-
cars-elderly-disabled-drivers-google-tl4/> Acesso em 30. Jan. 2019 ↵
8. Google só começou a produzir seus próprios carros em 2015: Waymo
(https://waymo.com/journey/). No entanto, a empresa continua a
utilizar carros pré-existentes, acoplando a câmera e o sistema em
cima do carro. ↵
9. O site da Google diz “three football fields”, ou seja, 360 jardas. ↵
10. Disponível em: <https://waymo.com/tech/> Acesso em 30. Jan. 2019
↵
11. Radares, câmeras, GPS e mapas. ↵
12. Press Release, Nat’l Highway Traffic Safety Admin., op. cit. ↵
13. Disponível em: <http://www.dmvnv.com/autonomous.htm> Acesso
em 30. Jan. 2019 ↵
14. PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. A
responsabilidade civil pelos atos autônomos da inteligência artificial:
notas iniciais sobre a resolução do Parlamento Europeu. Rev. Bras.
Polít. Públicas, Brasília, v. 7, nº 3, 2017 p. 238-254. ↵
15. Ibid. ↵
16. UNIÃO EUROPEIA. Resolução do Parlamento Europeu, de 16 de
fevereiro de 2017, com recomendações à Comissão de Direito Civil
sobre Robótica (2015/2103(INL)). Parágrafo 1º. ↵
17. PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. op. cit. ↵
18. Ibid. ↵
19. Ibid. ↵
20. Ibid. ↵
21. Ibid. ↵
22. Ibid. ↵
23. UNIÃO EUROPEIA. Projeto de Relatório que contém recomendações à
Comissão sobre disposições de Direito Civil sobre Robótica
(2015/2013(INL)). Relatora Mady Delvaux, de 31 de maio de 2016. p. 11.
Disponível em: <http://www.europarl.europa.eu/sides/getDoc.do?
pubRef=-//EP// NONSGML+COMPARL + PE-
582.443+01+DOC+PDF+V0//PT> Acesso em 30. Jan. 2019 ↵
24. BRASIL. Tribunal de Justiça do Estado de Santa Catarina. Apelação
Cível n. 2008.056831- 7, da Capital. Relator Sérgio Izidoro Heil.
Julgamento em 29/09/2011. Disponível em:
<http://app6.tjsc.jus.br/cposg/servlet/ServletArquivo?
cdProcesso=01000CK3C0000&nuSeqProcessoMv=null&tipoDocumento=D&cdAcordaoDoc=null&nuDocumento=3823687&pdf=true>
Acesso em 30. Jan. 2019 ↵
25. J. K. C. Kingston, David C. Vladeck,e Paulius Čerka, Jurgita Grigiené e
Gintarè Sirbikyté. ↵
26. PIRES, Thatiane Cristina Fontão; SILVA, Rafael Peteffi da. op. cit. ↵
27. Ibid. ↵
28. GURNEY, Jeffrey K., Sue my car not me: products liability and
accidents involving autonomous vehicles. Disponível em:
<http://ssrn.com/abstract=2352108> Acesso em 30. Jan. 2019 ↵
29. Nesse caso, será considerado que o fabricante do carro e do sistema
são a mesma pessoa. ↵
30. <https://www.nytimes.com/2010/10/10/science/10google.html?
pagewanted=all> Acesso em 16. Mar. 2019 ↵
7. Accountability de algoritmos: a falácia do
acesso ao código e caminhos para uma
explicabilidade efetiva
Isabela Ferrari[1]
Resumo: Depois de esclarecer o que são e como funcionam os algoritmos,
apontamos os problemas relativos à visão de que o acesso ao código-fonte seja uma
via apta a garantir a compreensão dos aspectos definidores da solução apontada.
Em seguida, sugerimos caminhos mais profícuos em direção à explicabilidade.
1. Introdução
Três histórias ilustram as preocupações que endereçamos neste artigo.
A primeira é a história de Joy Buolamwini. Começa quando nossa protagonista
estava finalizando seu curso de computação na Georgia Institute of Technology, na
Universidade de Oxford. Seu trabalho de conclusão de curso era relativamente
simples: desenvolver um robô social[2]. Decidiu criar um software capaz de brincar
de pikaboo, uma popular brincadeira infantil que consiste basicamente em cobrir o
rosto e descobri-lo em seguida, quando então se diz “pikaboo”.
Para atingir seu objetivo, Joy utilizou-se de um software aberto de
reconhecimento facial – já que identificar o rosto descoberto era crucial para que a
brincadeira virtual fosse bem-sucedida. Percebeu, com curiosidade, que apesar de
o programa funcionar com diversos amigos, era incapaz de reconhecer seu rosto.
Joy é negra.
Descoberto o defeito do software-base e apesar do incômodo com a situação, Joy
focou em terminar o trabalho – usando uma máscara branca ou sua colega de
quarto para checar o funcionamento do programa.
Anos depois, e já cursando o seu Ph.d. no Massachussets Institute of Technology
(MIT), Joy participou de uma competição em Hong Kong. Em visita a uma startup
local, planejada pelos organizadores, novamente Joy era a única pessoa em quem
um programa, que dependia de reconhecimento facial, não funcionava. Já
desconfiada da razão, Joy descobriu, estupefata, que o software base utilizado em
Hong Kong era o mesmo que ela havia utilizado no seu trabalho de conclusão de
curso, anos antes nos Estados Unidos.
Nossa segunda história é mais singela, mas não menos relevante. Recentemente,
o Estado de Nova York passou a se utilizar de softwares para avaliar os professores
que trabalhavam em algumas escolas públicas e recomendar a demissão daqueles
cuja performance fosse considerada abaixo do esperado. Os resultados indicaram a
demissão de professores muito bem avaliados por pais e alunos[3].
A terceira situação, em nossa opinião, é mais sensível de todas. Trata-se do caso
Loomis. Em 2013, Eric Loomis foi preso em flagrante após furtar um veículo, evadir-
se de um agente de trânsito e envolver-se em um tiroteio. Levado à presença de um
juiz, determinou-se, inicialmente, que respondesse ao processo em liberdade. Em
seu julgamento, foi condenado a seis anos de prisão. Com o seu passado de
agressão sexual, a pena aplicada a Loomis não foi surpresa.
O caso, no entanto, tornou-se mundialmente conhecido, porque tanto a negativa
da liberdade provisória, quanto o patamar aumentado da pena foram definidos a
partir da avaliação de que Loomis apresentaria alto risco de violência, reincidência
e evasão, avaliação essa feita por um software, à qual aderiu o juiz sem adicionar
qualquer análise própria. A situação é ainda mais sensível porque o referido
programa, denominado COMPAS (Correctional Offender Management Profiling for
Alternative Sanctions), é um software privado, que funciona a partir de um
algoritmo secreto, ao qual nem os juízes que o utilizam têm acesso[4].
Loomis, então, recorreu à Suprema Corte de Winsconsin, requerendo o acesso
aos critérios que levaram o software a classificá-lo como uma pessoa de alto risco.
O Procurador-Geral do Estado foi contra a utilização do sistema. Ele defendeu que,
como o uso de algoritmos para a tomada de decisões é muito recente, a questão
ainda não estaria madura para julgamento, sustentando que Loomis estaria livre
para questionar o resultado da sua avaliação e possíveis falhas, mas que não poderia
acessar o código-fonte do algoritmo. Na mesma linha, os representantes legais da
Northpointe Inc., desenvolvedora do COMPAS, defenderam que sua forma de
operação estaria protegida por segredo industrial.
Durante o julgamento, algumas questões desconfortáveis foram levantadas, como
o relatório da ONG ProPublica, sobre o enviesamento do Compas contra afro-
americanos[5]. Apesar disso, a Suprema Corte de Winsconsin negou o pleito de
Loomis, afirmando que ele teria recebido a mesma sentença a partir de uma análise
humana dos fatores usuais: seu crime e seus antecedentes. Loomis recorreu à
Suprema Corte Americana, que negou o writ of certiorari, algo semelhante a um
pedido de admissão para julgamento, por ele apresentado. Loomis permanecerá
preso até 2019[6].
O que aproxima as três histórias é a dificuldade de antecipar um problema
decorrente do uso de algoritmos, em boa medida em razão da opacidade de sua
forma de operação. Este texto destina-se a esclarecer como funciona a categoria
dos algoritmos que utiliza inteligência artificial em sua operação, demonstrando,
assim, por que razão existe necessariamente uma dificuldade em controlar esse
processo. Em seguida, depois de rejeitar o acesso ao código fonte como solução
para o problema, indicamos os caminhos que nos parecem mais promissores para
atingir a desejada explicabilidade mínima relativa ao funcionamento de processos
operativos decisórios por algoritmos de machine learning.
2. O que são e como funcionam os algoritmos?
O que é um algoritmo? Existem várias formas de responder a essa pergunta. Neste
trabalho, usaremos a definição de Pedro Domingos, valiosa por sua simplicidade:
algoritmo é uma sequência de instruções que diz a um computador o que fazer[7].
Wolkart[8] explica os algoritmos comparando-os com uma escada, que determinada
pessoa utiliza para sair de um ponto inicial até o topo. O algoritmo faz o mesmo:
divide determinada tarefa (chegar até o topo) em tarefas menores (passar por cada
um dos degraus).
Quanto ao seu funcionamento, podemos classificar os algoritmos em duas
espécies: os programados e os não programados. Algoritmos programados seguem
as operações (“o caminho”) definidas pelo programador. Assim, a informação “entra”
no sistema, o algoritmo atua sobre ela, e o resultado (output) “sai” do sistema. O
programador domina, portanto, todas as etapas operativas do algoritmo.
Ainda em 1950, referindo à operação de algoritmos, Alan Turing, no seminal
Computing Machinery and Intelligence, propunha que, no lugar de se imitar o
cérebro de um adulto, programando todas as operações a serem realizadas, seria
mais produtivo adotar estratégia diversa: simular o cérebro de uma criança, com
capacidade randômica de aprendizado[9]. Nascia aí a ideia motriz dos algoritmos não
programados, aqueles que usam a técnica que ficou conhecida como aprendizagem
de máquinas, ou machine learning.
Essa categoria de algoritmos, denominados learners, opera criando outros
algoritmos. Nesse caso, os dados e o resultado desejado são carregados no sistema
(input), que produz o algoritmo (output) que transforma um no outro. Como destaca
Pedro Domingos, o computador escreve a própria programação, de forma que
humanos não tenham que fazê-lo[10].
A técnica de machine learning pode ser definida, então, como a prática de usar
algoritmos para coletar e interpretar dados, fazendo predições sobre fenômenos .
As máquinas desenvolvem modelos e fazem predições automáticas,
independentemente de nova programação[11]. Os dados, aliás,são a matéria prima da
aprendizagem. Por isso, um grande volume de dados é essencial para o sucesso da
técnica.
Isso explica por que o advento do big data (o imenso volume de dados
estruturados e não estruturados) na última década teve um impacto tão
significativo para a aprendizagem de máquinas, que já existia desde a década de
70[12]. A rápida evolução computacional, embalada pelas exponenciais Leis de
Moore[13] e de Kryder[14], trouxe uma abundância de dados jamais vista na
humanidade e, portanto, matéria-prima sem limites para técnicas computacionais
de inteligência artificial.
A forma mais simples dos algoritmos não programados, ou seja, aqueles que
empregam machine learning, é aquela que emprega algoritmos supervisionados, na
qual o sistema é alimentado com dados lapidados e previamente escolhidos por
seres humanos. Nesse caso, o conjunto de dados rotulados e a saída desejada são
carregados no sistema. Enquanto é treinado, o modelo ajusta as suas variáveis para
mapear as entradas para a saída correspondente.
Um exemplo são os algoritmos utilizados pelos bancos para aprovar a concessão
de empréstimos. Nesse caso, os dados analisados serão referentes ao histórico de
crédito do cliente, e as informações utilizadas para treinar o sistema são dados já
rotulados como positivos ou negativos para a concessão de crédito.
Uma espécie de estruturação algorítmica que funciona de forma supervisionada
são as redes neurais artificiais (com back propagation). Inspiradas no cérebro
humano, têm modelo de aprendizagem baseada em erros e acertos, com
identificação paulatina dos caminhos e decisões mais corretas para atingir
determinados objetivos.
Nesses casos, o sistema é carregado com um objetivo (output), e vários inputs. Os
inputs são testados em vários caminhos. Quando se chega ao resultado desejado, o
caminho mais assertivo recebe um peso maior na conta matemática. Assim, as
camadas neurais internas (hidden layers) mais assertivas passam a dominar a tarefa
e a entregar resultados mais precisos na medida em que o algoritmo confere um
peso maior às conexões que apresentem resultados mais próximos dos desejados[15].
Uma segunda categoria relevante é a dos algoritmos não supervisionados (non-
supervised learning algorithms). Nesse caso, os dados que alimentam o sistema não
são rotulados, deixando o algoritmo de aprendizagem encontrar estrutura nas
entradas fornecidas por conta própria. Dessa forma, esses algoritmos têm a
capacidade de organizar amostras sem que exista uma classe pré-definida.
O aprendizado não supervisionado é útil quando for necessário descobrir padrões
em determinado conjunto de dados não rotulados, e pode ser um objetivo em si
mesmo ou, ainda, um meio para atingir determinada finalidade. Essa técnica é
empregada no reconhecimento e identificação de faces e de vozes, e na criação de
sistemas de tomada de decisão em curto espaço de tempo, viabilizando, por
exemplo, a construção de carros e drones autônomos[16].
Exemplo de estruturação algorítmica que funciona de forma não supervisionada
para atingir determinada finalidade é a rede neural convolucional, utilizada com
sucesso no reconhecimento de imagens e processamento de vídeo. Na área da
saúde, a técnica é utilizada para o diagnóstico de determinadas doenças[17].
Finalmente, uma terceira categoria corresponde aos algoritmos de reforço
(reinforced learning algorithms), que são treinados para tomar decisões. Nesses
casos, existe um feedback sobre o sucesso ou erro do output, que será utilizado
para aprimorar o algoritmo.
Diferentemente dos algoritmos supervisionados e não supervisionados, os de
reforço não estão direcionados a gerar outputs “corretos”, mas enfocam a questão
da performance, comportando-se de forma muito semelhante aos seres humanos,
que aprendem com base em consequências positivas ou negativas, como uma
criança que coloca o dedo na tomada e logo percebe que essa não é uma ação
inteligente. Esse tipo de algoritmo é corriqueiramente utilizado em jogos, e a
pontuação maior ou menor que eles atingem no processo funciona como
recompensa[18]–[19].
Ao mesmo tempo em que se percebe que os modelos mais modernos de
inteligência artificial foram inspirados na biologia e psicologia do cérebro
humano[20], é evidente a perda de controle sobre os processos de aprendizagem de
algoritmos.
A autonomia dos algoritmos de machine learning faz com que as tarefas por eles
desempenhadas sejam difíceis de antever e, mesmo após a decisão, difíceis de
explicar. Mesmo os learners mais simples, supervisionados, não permitem que se
compreenda propriamente o seu funcionamento – a menos que tenham sido
estruturados para tanto.
Quando se passa aos algoritmos não supervisionados ou de reforço, sequer há
controle sobre os inputs utilizados na aprendizagem de máquinas. Ademais, à
medida em que os algoritmos se tornam mais complexos e passam a interagir uns
com os outros, a tendência é a de que esse desafio se agrave[21].
3. Opacidade, Acesso ao Código e a Falácia da
Transparência
A dificuldade humana de compreender os mecanismos de funcionamento dos
algoritmos que empregam machine learning, sejam eles supervisionados, não
supervisionados ou de reforço, explica os problemas que foram apresentados no
início deste artigo.
Caso os fatores que influíram na decisão fossem claramente perceptíveis, teria
sido possível identificar rapidamente: no caso de Joy, a incompletude dos dados que
foram utilizados pelo learner, que gerou a incapacidade de reconhecimento de um
espectro mínimo de faces; no caso das escolas americanas, os critérios equivocados
de classificação que levaram ao resultado inadequado; e, no caso Loomis, o uso
inadmissível do critério étnico como fator que contribuiu de forma relevante para a
análise de risco.
Por essa razão, já destacamos[22] que a maior preocupação relativa ao emprego
dos learners em processos decisórios não se refere a problemas associados aos data
sets utilizados para treiná-los, nem a eventual efeito discriminatório que possam
gerar, por piores que possam ser essas situações e seus efeitos.
O que mais chama a nossa atenção é a opacidade inerente à sua operação,
decorrente da já referida lacuna entre a atividade do programador e o
comportamento dessa espécie de algoritmo que cria a própria programação. Vimos
que o algoritmo modifica de forma autônoma sua estrutura enquanto opera, de
acordo com os dados, lapidados ou não, que recebe.
Assim, pela complexidade de sua operação, a mera observação do output por um
ser humano – ainda que seu próprio programador – dificilmente poderia conduzir a
alguma conclusão sobre os processos internos que conduziram os inputs até lá,
tornando o algoritmo uma verdadeira caixa-preta[23].
E a essa dificuldade de entender o seu funcionamento usualmente está associada,
por razões culturais, à percepção de que os resultados apontados por eles são
“científicos”. A opacidade dos algoritmos, o pouco questionamento dos resultados
por ele produzidos e a sua capacidade de aplicação em escala global (como ilustra a
historia de Joy Buolamwini), levaram Cathy O’Neil a referir-se a eles como “weapons
of math destruction”, em tradução livre, “armas de destruição matemática”[24].
Por vezes, a resposta à preocupação sobre o accountability de algoritmos se
encaminha no sentido de uma defesa do acesso ao código fonte. Surge, então, uma
falsa questão: o pretenso conflito entre o atendimento a um dever de transparência
em relação ao algoritmo, que implicaria a abertura de seu código-fonte, e a noção
de sigilo industrial. Embora a doutrina perca tempo e energia nessa discussão,
denominamos o argumento de “falácia da transparência”.
Nesse sentido, como bem ressaltam Mittelstadt et al.[25], a transparência deve ser
entendida sob dois aspectos fundamentais: acessibilidade e compreensibilidade.
Apesar de a discussão doutrinária se voltar para a primeira, ou seja, para a defesa ou
não de um direito a acessar o código-fonte, parece-nos que o ponto fulcral para o
debate se refere ao segundo componente.Isso porque, diante da estrutura cada vez mais complexa dos algoritmos que
empregam machine learning, a mera abertura do código-fonte, por si só, tende a
não auxiliar a compreensão da forma como operam, já que o referido código só
expõe o método de aprendizado de máquinas usado, e não a regra de decisão, que
emerge automaticamente a partir dos dados específicos sob análise.
Como salienta Burrell[26], a opacidade dos learners é consequência da alta
dimensionalidade de dados, da complexidade de código e da variabilidade da lógica
de tomada de decisões. Por empregarem centenas ou milhares de regras, por suas
predições estarem combinadas probabilisticamente de formas complexas[27], pela
velocidade no processamento das informações, e pela multiplicidade de variáveis
operacionais[28], parece estar além das capacidades humanas apreender boa parte –
senão todas – as estruturas decisórias que empreguem a técnica de machine
learning. Assim, o mero acesso ao código comunica muito pouco, remanescendo a
dificuldade de compreender o processo decisório[29].
Como já destacamos em trabalho anterior, “algoritmos apenas podem ser
considerados compreensíveis quando o ser humano é capaz de articular a lógica de
uma decisão específica, explicando, por exemplo, a influência de determinados
inputs ou propriedades para a decisão”[30].
O cenário é preocupante, e o acesso ao código fonte não responde
adequadamente ao problema. Existem, entretanto, outros caminhos que podem ser
trilhados no sentido de uma explicabilidade possível. São essas possibilidades que
passamos a explorar na próxima seção.
4. Caminhos para uma explicabilidade efetiva
Conferir explicabilidade aos algoritmos não é tarefa fácil. A questão não é se ela é
necessária – existe um consenso razoável nesse sentido. A questão é como fazê-lo.
Essa resposta não só está necessariamente fora do direito, como ainda não foi
encontrada.
Embora diversos textos discutam princípios aplicáveis à inteligência artificial,
exponham princípios standards, e imponham deveres como explicabilidade,
transparência, confiança, etc., não há no direito comparado um panorama jurídico,
capaz de provê-la, apto a ser replicado ou importado.
Uma abordagem que busque trilhar um caminho concreto na direção da
explicabilidade dos algoritmos precisa desbordar do campo exclusivamente jurídico
e atentar a questões relativas aos desenhos de políticas públicas, além de observar
possibilidades e ferramentas que a ciência da computação provê.
Com relação ao tema, a primeira recomendação daqueles que têm familiaridade
com ele costuma ser no sentido de que, para que a operação do algoritmo seja
controlável, é necessário que essa preocupação com o accountability esteja
presente desde o seu desenvolvimento. Nesse sentido, destacam a dificuldade de
controlar um sistema que empregue machine learning que não tenha sido
desenvolvido para ser controlado. Essa situação também denota a urgência de
avançar nessa pauta.
Além disso, é preciso perceber que existem diferentes técnicas conhecidas como
machine learning, com níveis de controlabilidade diferentes. Enquanto algumas são
fortemente opacas, outras, como a inteligência artificial semântica, podem ser
estruturadas para justificar as escolhas feitas.
A partir dessa constatação e, como sempre, atentando a questões técnicas, seria
possível começar a refletir sobre as técnicas que deveriam ser priorizadas na
tomada de certas decisões. Por exemplo, seria legítima a escolha governamental
pelo emprego de um algoritmo de machine learning do tipo black box para escolhas
sensíveis quando seria viável estruturar um sistema fundado em inteligência
artificial semântica?
A atenção a ferramentas técnicas também permite encontrar caminhos
interessantes em direção à explicabilidade. Em um dos melhores artigos que
abordam o assunto, escrito a muitas mãos, Kroll et al. destacam alguns mecanismos
aptos a garantirem o que denominam regularidade procedimental.
Trata-se de ferramentas que, embora não garantam que o resultado derivado do
emprego do algoritmo seja justo, atestam que não houve, por exemplo, uma falha no
procedimento adotado, ou que a mesma política decisória foi adotada em casos
diferentes. Esses instrumentos, portanto, garantem algum nível de accountability,
ainda que aspectos do funcionamento do algoritmo sejam mantidos em sigilo.
A primeira ferramenta que apontam é chamada verificação de software. Diferente
da análise de código, que é estática, a verificação de software é dinâmica, e examina
o programa enquanto ele opera. Essa análise garante que, ao operar, o sistema
sempre apresentará certas propriedades, denominadas invariantes.
A segunda são os acordos criptográficos, equivalentes digitais a um documento
selado por uma terceira parte, ou à manutenção de um documento em local seguro.
Os acordos criptográficos asseguram que o programa não foi alterado nem
revelado, e são muito utilizados para programas que devem ser mantidos em sigilo
por determinado tempo.
Acordos criptográficos podem ser utilizados para ocultar, por dado período,
critérios utilizados pelo algoritmo em seu processo de tomada de decisão quando a
divulgação imediata dos mesmos poderia possibilitar que aqueles agentes sobre
cujos interesses atua tentassem “enganá-lo”. Poderiam ter por objeto, por exemplo,
os critérios empregados em sistemas de análise de declaração de imposto de renda,
para lançar os sinais de alerta que levam a uma revisão da declaração ou análise
mais aprofundada.
Assim, passado certo tempo, os acordos criptográficos dão certeza sobre os
critérios utilizados, e a partir daí pode-se seguir análise sobre a legitimidade de sua
operação pretérita. A certeza de que haverá disclosure futuro tem o efeito de
refrear a tendência a usar critérios inadequados, discriminatórios etc.
O terceiro instrumento indicado são as chamadas zero-knowledge proofs,
ferramentas criptográficas que permitem que de pronto se prove que a política
decisória utilizada apresenta certa propriedade, sem revelar como se sabe disso ou
que política decisória é.
Em aulas de criptografia é comum explicarem essa ferramenta através do
exemplo de dois milionários em um restaurante, que acordam que o mais rico entre
eles deve pagar a conta, mas ao mesmo tempo não desejam informar ao outro
quanto têm. Nesse caso, seria possível criar uma zero-knowledge proof para
descobrir quem deve pagar a conta sem que haja disclosure do patrimônio de cada
um.
Finalmente, as fair random choices são estratégias aptas a garantir que, quando o
sistema possuir algum nível de aleatoriedade, esta será justa, e não poderá haver
intromissão indevida de agentes internos na aleatoriedade do sistema. É
mecanismo cuja aplicação Kroll et al. defendem no sistema de loteria de vistos
americanos, que, segundo alguns programadores, não é exatamente segura,
podendo ser fraudada (internamente), ainda que hipoteticamente.
Essas ferramentas específicas, além de mostrarem caminhos para melhorar o
controle de certos sistemas, têm o valor de denotar a necessidade de um olhar mais
cuidadoso dos criadores de políticas públicas para a área.
5. Conclusões
Após apresentarmos o conceito de algoritmo não programado e expormos a forma
como operam, destacamos a opacidade que caracteriza o seu processo decisório.
Em seguida, demonstramos os motivos pelos quais o mero acesso a seu código-
fonte não responde como o programa parte dos inputs para chegar ao resultado
apontado, ou seja, não permite apreender o seu processo decisório.
Ressaltamos, na linha defendida por Mittelstadt et al., que a noção de
transparência não se esgota na ideia de acessibilidade (ao código), mas desborda
para a noção de compreensibilidade, que faz referência ao efetivo entendimento de
aspectos fundamentais de sua forma de operação.
Finalmente, destacamos algumas estratégias promissoras que podem ser
adotadas para prover uma explicabilidade mínima para os learners.
Referências bibliográficas
ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em:
<https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>. Acesso em: 15.06.2018.
BAROCAS, Solon; SELBST, Andrew D. Big Data’s Disparate Impact, n. 104,
California Law Review 671, 2016.
BUOLAMWINI, Joy. How I’m fighting bias in algorithms. TED Talks. Disponível em:
<https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms/transcript#t-
74828>. Acesso em: 20.06.2018.
BURRELL, Burrel. How the machine ‘thinks’: understanding opacity in machine
learning algorithms. Big Data & Society 2016, 3 (1), p 1–12.
DATTA, Anupam et al. Algorithmic transparency via quantitative input influence.
Proceedings of 37th IEEE Symposium on Security and Privacy, San Jose, USA.
Disponível em: <http://www.ieee-security.org/TC/SP2016/papers/0824a598.pdf>.
Acesso em: 20.06.2018.
DOMINGOS, Pedro. The master algorithm: how the quest for the ultimate
machine learning will remake our world. Nova York: Basic Books, 2015.
EPIC.ORG. Algorithms in the Criminal Justice System. Eletronic Privacy
Information Center. Disponível em: <https://epic.org/algorithmic-
transparency/crim-justice/>. Acesso em: 23.06.2018.
ESTADOS UNIDOS DA AMÉRICA. Big data: seizing opportunities, preserving
values, maio de 2014. Gabinete Executivo do Presidente dos Estados Unidos da
América. Disponível em:
<http://www.whitehouse.gov/sites/default/files/docs/big_data_privacy_report_5.1.14_final_print.pdf>.
Acesso em: 15.06.2018.
GARDNER. G. G. et al. Automatic detection of diabetic retinopathy using an
artificial neural network: a screening tool. British Journal of Ophthalmology, 80,
1996, p. 940-944. Disponível em:
<https://www.ncbi.nlm.nih.gov/pmc/articles/PMC505667/pdf/brjopthal00011-
0006.pdf>. Acesso em: 15.06.2018.
ISRANI, Ellora. Algorithmic due process: mistaken accountability and attribution
in State
v. Loomis. JOLTdigest. Disponível em:
[https://jolt.law.harvard.edu/digest/algorithmic-due-process-mistaken-
accountability-and-attribution-in Acesso em: 25.10.2017.
ITO, Joi; HOWE, Jeff. Whiplash: How to survive our faster future. New York;
Boston: Grand Central, 2016.
KROLL, Joshua A. et al. Accountable Algorithms. University of Pennsylvania Law
Review v. 165, p. 633-705, 2017.
LIPTAK, Adam. Sent to prison by a software program’s secret algorithms. NY
Times.
Disponível em: <https://www.nytimes.com/2017/05/01/us/politics/sent-to-
prison-by-a-software-programs-secret-algor>. Acesso em: 15.06.2018.
MACNISH, Kevin. Unblinking eyes: The ethics of automating surveillance. Ethics
and Information Technology 14(2), p. 151-167, 2012.
MITTELSTADT, Brent Daniel et al. The ethics of algorithms: Mapping the debate.
Big Data & Society, 1-21, jul.- dez. 2016.
MNIH, Volodymyr et al. Human-level control through deep reinforcement
learning. Nature, v. 518, p. 529-533, 26.02.2015.
O’NEIL, Cathy. The era of blind faith in big data must end. TED Ideas. Disponível
em:
<https://www.ted.com/talks/cathy_o_neil_the_era_of_blind_faith_in_big_data_must_end/transcript>.
Acesso em: 22.06.2018.
O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality
and threatens democracy. Crown: Nova York, 2016.
RUMERLHART, David E.; HILTON, Geoffrey E.; WILLINANS, Ronald J. Learning
Representations by back-propagating erros. Nature, v. 323, issue 9, out. 1986.
TURING, Alan. Computing Machinery and Intelligence. Mind, New Series, v. 59, n.
236 p. 433-460, out. 1950.
WALTER, Chip. Kryder’s Law. Scientific American. Disponível em:
<https://www.scientificamerican.com/article/kryders-law/>. Acesso em:
07.06.2018.
WOLKART, Erik Navarro. Análise econômica e comportamental do processo civil:
como promover a cooperação para enfrentar a tragédia da Justiça no processo civil
brasileiro. 2018. 835 f. Tese (Doutorado em Direito) – Universidade do Estado do Rio
de Janeiro, Rio de Janeiro.
1. Juíza Federal, Mestre e Doutoranda em Direito Público pela
Universidade do Estado do Rio de Janeiro (UERJ), Visiting Researcher
pela (Harvard Law School 2016/2017). Coordenadora Acadêmica do
Instituto New Law. Membro do Board da The Future Society/Brasil.
Membro do Comitê de Direito Administrativo e Ambiental da Escola
da Magistratura Federal da 2a Região (EMARF). Professora de Direito
Administrativo do Curso Ênfase. Email:
isabelarossicortesferrari@gmail.com ↵
2. Robôs sociais são aqueles criados para interagir com seres humanos.
↵
3. FERRARI, Isabela; BECKER, Daniel; WOLKART, Erik Navarro. Arbitrium
ex machina: panorama, riscos e a necessidade de regulação das
decisões informadas por algoritmos. Revista dos Tribunais, v. 995, set.
2018. ↵
4. ISRANI, Ellora. Algorithmic due process: mistaken accountability and
attribution in State v. Loomis. JOLTdigest. Disponível em:
<https://jolt.law.harvard.edu/digest/algorithmic-due-process-
mistaken-accountability-and-attribution-in>. Acesso em: 25.10.2017.
↵
5. ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em:
<https://www.propublica.org/article/machine-bias-risk-
assessments-in-criminal-sentencing>. Acesso em: 25.10.2017. ↵
6. Loomis, 881 N.W.2d at 754. ↵
7. DOMINGOS, Pedro. Op. cit., p. 2. ↵
8. WOLKART, Erik Navarro. Análise econômica e comportamental do
processo civil: como promover a cooperação para enfrentar a tragédia
da Justiça no processo civil brasileiro. 2018. 835 f. Tese (Doutorado em
Direito) – Universidade do Estado do Rio de Janeiro, Rio de Janeiro. ↵
9. TURING, Alan. Computing Machinery and Intelligence. Mind, New
Series, v. 59, n. 236, p. 433-460, out. 1950. ↵
10. DOMINGOS, Pedro. Op. cit., p. 6. ↵
11. ASSUNÇÃO, Luís. Machine learning, big data e inteligência artificial:
qual o benefício para empresas e aplicações no Direito? LEX
MACHINÆ. Disponível em:
<https://www.lexmachinae.com/2017/12/08/machine-learning-big-
data-e-inteligencia-artificial-qual-o-be>. Acesso em: 25.06.2018. ↵
12. BRYNJOLFSSON, Erik; MCAFEE, Andrew. A segunda era das máquinas:
trabalho, progresso e prosperidade em uma época de tecnologias
brilhantes. Rio de Janeiro: Alta Books, 2015. p. 84-85. ↵
13. BECKER, Daniel; FERRARI, Isabela. A prática jurídica em tempos
exponenciais. JOTA. Disponível em: <https://jota.info/artigos/a-
pratica-juridica-em-tempos-exponenciais-04102017>. Acesso em:
07.06.2018. ↵
14. WALTER, Chip. Kryder's Law. Scientific American. Disponível em:
<https://www.scientificamerican.com/article/kryders-law/>. Acesso
em: 07.06.2018. ↵
15. RUMERLHART, David E.; HILTON, Geoffrey E.; WILLINANS, Ronald J.
Learning Representations by back-propagating erros. Nature, v. 323,
issue 9, p. 533, out. 1986. ↵
16. WOLKART, Erik Navarro. Análise econômica e comportamental do
processo civil: como promover a cooperação para enfrentar a tragédia
da Justiça no processo civil brasileiro. 2018. 835 f. Tese (Doutorado em
Direito) – Universidade do Estado do Rio de Janeiro, Rio de Janeiro, p.
683. ↵
17. GARDNER. G. G. et al. Automatic detection of diabetic retinopathy
using an artificial neural network: a screening tool. British Journal of
Ophthalmology, 80, p. 940-944, 1996. Disponível em:
<https://www.ncbi.nlm.nih.gov/pmc/articles/PMC505667/pdf/brjopthal00011-
0006.pdf>. Acesso em: 15.06.2018. ↵
18. Em 2015, por exemplo, experimentos na universidade de Toronto, no
Canadá, levaram um único algoritmo, com a mesma rede neural e os
mesmos hiperparâmetros, a ter um desempenho de alto nível, 49
jogos diferentes de Atari. Os algoritmos não haviam sido
especificamente desenvolvidos para nenhum desses jogos: os únicos
inputs recebidos pelo sistema foram os pixels dos jogos captados por
sensores, além das recompensas determinadas pela pontuação de
cada jogo. ↵
19. Em algumas situações, algoritmos supervisionados e algoritmos de
reforço são utilizados de forma combinada visando melhores
resultados. Uma rede neural associando as duas técnicas foi o que
permitiu o sucesso do AlphaGo. O jogo chinês de Go se assemelha ao
de xadrez mas, enquanto este possui 64 casas, o tabuleiro de Go
possui 361. Isso tornou impossível que se replicasse a estratégia
utilizada por ocasião da programação do Deep Blue, que fora
carregado manualmente com milhares de jogadas e combinaçõespossíveis, usando sua enorme capacidade de processamento para
escolher a melhor jogada. Como seria inviável programar previamente
todas as 2,1x10170 posições possíveis do jogo, decidiu-se utilizar no
AlphaGo uma combinação de reinforced e supervised learning. O
início de seu processo de aprendizado correspondia ao estudo
supervisionado: humanos escolhiam a informação a ser observada
pela máquina – jogadas e posições protagonizadas por grandes
jogadores de Go –, controlando esse processo. Depois de o sistema
aprender a classificar e valorar essas posições, ele passava para uma
fase mais avançada de aprendizado, não supervisionada (reinforced
learning), na qual o algoritmo participava sozinho de múltiplos jogos
simulados aleatórios e aprendia a fazer as melhores escolhas e a
valorá-las de modo preciso (value network). Com isso, o AlphaGO
avaliava muito menos posições por jogada do que o Deep Blue, mas o
fazia de forma precisa e inteligente, selecionando e valorando suas
escolhas de modo muito mais eficiente, graças à sua policy network
(responsável pelos critérios de seleção) e sua value network
(responsável pelos critérios de valoração das posições escolhidas). ↵
20. ITO, Joi; HOWE, Jeff. Whiplash: How to survive our faster future. New
York; Boston: Grand Central, 2016. p. 240-241. ↵
21. TUTT, Andrew. An FDA for Algorithms. Administrative Law Review, 83
(2017). Disponível em: [https://ssrn.com/abstract=2747994]. Acesso
em: 07.06.2018. ↵
22. FERRARI; BECKER; WOLKART. Arbitrium ex Machina: panorama,
riscos e a necessidade de regulação ds decisões informadas por
algoritmos. Revista dos Tribunais, vol. 995, Set / 2018 ↵
23. BURRELL, Burrel. How the machine ‘thinks:’ understanding opacity in
machine learning algorithms. Big Data & Society, 3 (1), p. 1-12, 2016. ↵
24. O’NEIL, Cathy. Weapons of math destruction: how big data increases
inequality and threatens democracy. Nova York: Crown, 2016. ↵
25. MITTELSTADT, Brent Daniel et al. The ethics of algorithms: Mapping
the debate. Big Data & Society, 1-21, jul.-dez. 2016. ↵
26. BURRELL, Burrel. Op. cit. ↵
27. MARTIJN, Van Otterlo. A machine learning view on profiling.
HILDEBRANDT, Mireille; DE VRIES, Katja (eds.). Privacy, Due Process
and the Computational Turn-Philosophers of Law Meet Philosophers
of Technology. Abingdon: Routledge, 2013. p. 41-64. ↵
28. MATTHIAS, Andreas. The responsibility gap: Ascribing responsibility
for the actions of learning automata. Ethics and Information
Technology, 6(3), 175-183, 2004 ↵
29. KROLL, Joshua A. et al. Accountable Algorithms. University of
Pennsylvania Law Review, v. 165, p. 633-705, 2017. ↵
30. FERRARI; BECKER; WOLKART. Arbitrium ex Machina: panorama,
riscos e a necessidade de regulação ds decisões informadas por
algoritmos. Revista dos Tribunais, vol. 995, Set / 2018 ↵
8. Softwares de tomada de decisão e poder
público: estudo de casos e efeitos regulatórios
Carlos Eduardo Rabelo Mourão[1] e Davi Teofilo Nunes Oliveira[2]
Introdução
O presente trabalho tem como objetivo explorar a utilização de tecnologias para a
automação de procedimentos e análise de dados, principalmente em iniciativas
relacionadas ao poder público, partindo então para análise descritiva de casos
notórios, problemáticas e regulações sobre o tema. Em um primeiro momento
busca-se, então, realizar uma breve conceituação dos principais termos e
definições úteis ao estudo proposto e, a partir disso, realizar o estudo de casos
notórios para suscitar a discussão sobre as regulações adotadas acerca do tema no
mundo.
Para introdução e apresentação do assunto, foram selecionados alguns casos de
implementação de processamento automático de dados, visando construir no leitor
um panorama do que as instruções normativas buscam regular. O primeiro é o caso
COMPAS, software que utiliza um questionário em paralelo ao histórico criminal de
reincidentes e os classifica conforme o “risco” que o indivíduo representa para a
sociedade. O segundo caso a ser estudado é o Serenata de Amor, um software de
código aberto desenvolvido para controle público dos gastos realizados pelos
deputados e senadores brasileiros. Por fim, o terceiro caso analisado no presente
artigo é o Victor, desenvolvido pelo Supremo Tribunal Federal para verificação dos
pressupostos para a interposição de Recursos Extraordinários.
Esses casos foram selecionados para demonstrar ao leitor aplicações práticas de
aprendizado de máquinas com diferentes objetivos e construções institucionais,
com o intuito de, a partir dessa construção narrativa, explorar as iniciativas
regulatórias que terão como foco essas tecnologias. Sendo assim, buscar-se-á
demonstrar que o uso de aprendizado de máquinas para tomadas de decisões
envolve atores multissetoriais, que utilizam essas funcionalidades de formas
distintas, mas que causam implicações significativas na vida dos afetados pelo
poder decisório. Destaca-se, nessa linha, que os estudos de caso analisados
apresentam aplicações práticas de softwares de tomada de decisão para auxílio de
atividades de diversas naturezas.
Renato Leite ao tratar sobre softwares de tomada de decisão define-os como:
“Trata-se de sequências pré-definidas de comandos automatizados que,
com base em dados pessoais e não pessoais, chegam a conclusões que
podem sujeitar alguém a uma determinada ação, a qual pode ou não ter
impacto significativo na sua vida. Em sistemas mais complexos, como os que
se valem de aprendizado de máquina, essas sequências pré-definidas podem
ser alteradas de acordo com as variáveis usadas como substrato, e também
pelas conclusões intermediárias. Essa natureza adaptativa tem se tornado
mais comum, graças a complexos sistemas de inteligência artificial e
aprendizado de máquina capazes de influenciar as conclusões
intermediárias – a ponto de não ser mais possível prever os resultados finais
ou entender sua lógica subjacente. Essa opacidade impede que as pessoas
entendam e verifiquem se seus dados pessoais são tratados de forma
legítima, adequada e proporcional.”
Dessa forma, ao discutir softwares de tomada de decisão em suas diferentes
possibilidades, é essencial que sejam compreendidos os métodos regulatórios que
têm sido adotados pelo mundo sobre o tema, principalmente o direito à explicação
nas leis de proteção de dados pessoais. Outro ponto importante é a análise de como
o código aberto pode ser uma alternativa para a garantia de direitos e transparência
nos códigos utilizados para tomada de decisão.
Ademais, resta imprescindível conceituar certos termos relativos às novas
tecnologia e inteligência artificial. Russel e Norvig, em seu guia sobre Inteligência
Artificial, abordam oito diferentes definições para o termo que são divididas em
quatro abordagens distintas. Elas são as seguintes[3]:
Pensar Humanamente
“Os novos e empolgantes esforços para fazer
computadores pensarem… máquinas com mentes, no
sentido completo e literal.” (Haugeland, 1985).
“[A automação de] atividades que associamos com
o pensamento humano, atividades como tomada de
decisões, resolução de problemas, aprendizado…”
(Bellman, 1978)
Pensar Racionalmente
“O estudo das faculdades mentais através de modelos
computacionais” (Chamiak and McDermott, 1985)
“O estudo das computações que possibilitam a
percepção, razoabilidade e ação.” (Winston, 1992)
Agir Humanamente
“A arte de se criar máquinas que performam funções
que requerem inteligência quando feitas por
pessoas.” (Kurzweil, 1990)
“O estudo de como fazer computadores realizarem
coisas que, no momento, pessoas realizam melhor.”
(Rich and Knight, 1991)
Agir Racionalmente
“Inteligência Computacional é o estudo do design de
agentes inteligentes.” (Poole et. al, 1998)
“IA … diz respeito a comportamentos inteligentes
em artefatos” (Nilsson, 1998)
Essas definições são amplamente estudadas, ainda que não haja uma
consolidação definitiva acerca delas. No entanto, algumas são mais adequadas para
determinados estudos em detrimento de outras e, no caso do presente trabalho, a
definição que mais se adequa aos estudos decaso e aos modelos regulatórios em
questão seria a de Bellman. Isso porque, esta definição é diretamente ligada aos
procedimentos de tomada de decisão que, em tese, requerem o pensamento similar
ao humano.
Sem prejuízo à definição adotada, todas as teorias que ligam a atuação de agentes
computacionais a modelos de pensamento e ação similares aos humanos (pensar e
agir humanamente) entendem como essencial a capacidade da máquina de
aprender. Em geral, programas de computador que conseguem extrair padrões das
bases de dados, para além de apenas captar e armazenar esses dados, são
considerados capazes de aprender. Esse modo de aprendizado não supervisionado
é comumente referido como aprendizado de máquina[4], e permite que esses
programas avancem a sua atuação a partir de dados armazenados e mesmo criados
por eles mesmos. Esse tipo de técnica serve para aprimorar os resultados obtidos
pelos programas conforme eles são utilizados.
COMPAS, opacidade e o uso de inteligência artificial como
suporte de avaliações correcionais
Decisões judiciais podem ser compreendidas em seu sentido estrito, como a decisão
que encerra um processo judicial, ou em seu sentido amplo, que compreende mais
uma série de outras escolhas relevantes ao longo do processo.[5] Essas decisões
impactam diretamente a vida dos cidadãos sujeitos aos ordenamentos jurídicos nos
quais se inserem os determinados juízos decisórios e, portanto, possuem o dever de
serem fundamentadas[6] e balizadas dentro das regras, princípios e precedentes que
compõem esses ordenamentos.
Aduz-se aqui que processos decisórios devem necessariamente ser motivados e
fundamentados e que tal comprovação decorre do caráter racional do
procedimento. Decisões serão consideradas em seu sentido amplo, abarcando,
então, escolhas relevantes ao processo que não tenham necessariamente o intuito
de encerrá-lo. É o caso, por exemplo, de decisões acerca da escolha de progressão
de regimes de cumprimento de pena ou do cabimento de determinado recurso
interposto perante o STF.
Essa necessidade de fundamentação decorre do princípio da segurança jurídica.
Segundo Donaldo Armelín,
“No plano da atuação jurisprudencial, a previsibilidade das decisões judiciais
insere-se para o usuário da jurisdição como um fator de segurança que o
autoriza a optar por um litígio ou conciliação. É fundamental que quem
busque a tutela jurisdicional tenha um mínimo de previsibilidade acerca do
resultado que advirá de sua postulação perante o Judiciário.”[7]
Assim, compreende-se por segurança jurídica a previsibilidade do sistema a partir
da análise de suas fontes, ou seja, pode-se dizer que um sistema conta com
segurança jurídica quando os processos decisórios partem de premissas conhecidas
e que garantam, ainda com a elasticidade característica de um processo
interpretativo argumentativo, um mínimo de previsibilidade.
Em 2009, Tim Brennan e Dave Wells publicaram um estudo acerca do sistema de
avaliação correcional utilizado em vários estados norte-americanos[8]. O estudo
foca especialmente em um software de avaliação correcional baseado em um
questionário que, utilizado conjuntamente ao histórico criminal de ofensores,
classifica os acusados pelo sistema judicial norte-americano conforme o risco que
eles supostamente representam para a sociedade.
Esse software de avaliação é chamado Correctional Offender Management
Profiling for Alternative Sanctions – COMPAS -, e é utilizado como suporte para a
tomada de decisões relacionadas à condenação, ao tratamento, ao gerenciamento
de casos e à probabilidade de reincidência – com impactos significativos na
possibilidade de progressão de regime de apenados. Ele se propõe a utilizar teorias
consolidadas da criminologia para fundamentar de maneira orientada as avaliações
correcionais. Dentre as principais teorias utilizadas pelo programa, estão as teorias
do autocontrole, da exclusão social, da anomia e a do controle social.[9] Os
parâmetros utilizados nas previsões do COMPAS são as seguintes:
Antecedentes Criminais;
Histórico de Agressividade;
Engajamento em Associação Criminosa;
Histórico de Desobediência;
Abuso de Substâncias;
Problemas Financeiros e Pobreza;
Recursos Educacionais e Ocupacionais (ou Capital Humano);
Criminalidade na Família;
Índice de Criminalidade da Vizinhança;
Aborrecimento e Falta de Engajamento em Situações de Lazer;
Instabilidade residencial;
Isolamento social vs. Suporte social;
Atitude Propensa à Criminalidade;
Postura Anti-social.[10]
A justificativa para a implementação do programa parte de seu enquadramento
como um modelo de avaliação correcional de quarta geração. Esse tipo de modelo é
caracterizado por utilizar uma seleção mais abrangente de teorias da criminologia,
por integrar modelo estatístico mais avançado e por levar em conta mais variáveis e
critérios de validação de conteúdo.[11]
Em 2010, o Departamento de Correção e Reabilitação da Califórnia fez um
estudo[12] para validar o COMPAS e dar início à sua utilização. O estudo considerou
o software aceitável para ser utilizado em relação a índices de reincidência como
um todo, por ter alcançado uma média de 70% de exatidão. Especificamente em
relação a escala de violência, entretanto, os índices de precisão ficaram abaixo
dessa marca.[13]
O COMPAS, assim como outros softwares de avaliação de risco, já tem sido
utilizado em uma série de tribunais norte-americanos[14]. No entanto, ele tem sua
validade severamente questionada uma vez que os pressupostos que
aparentemente influenciam seus resultados acabam por reforçar estereótipos que
marginalizam setores na sociedade. Mais especificamente, o programa tem sido
taxado de enviesado em relação à raça e à classe dos ofensores que são submetidos
ao seu exame.
Vale ressaltar que alguns casos emblemáticos contestaram a legitimidade do
sistema de avaliação correcional. O mais paradigmático é o caso de Eric Loomis
contra o estado de Wisconsin. Nele, Loomis foi acusado de participação em cinco
crimes ligados a um tiroteio e fuga em um carro roubado, sendo que ele confessou
participar nos dois menos severos deles – fuga e manejo de um carro sem a
autorização do seu dono.
A defesa de Loomis protocolou um pedido de relaxamento de sua prisão no
tribunal alegando que a decisão que o condenou violava tanto o seu direito a uma
sentença individualizada quanto o de ter uma fundamentação precisa que explique
a condenação[15]. O tribunal entendeu que não houve prejuízo à sentença, após fazer
as devidas ressalvas acerca da necessidade de se proceder com cautela quando da
utilização desses mecanismos de avaliação correcional em juízo. Esse entendimento
se embasou na hipótese de que o relatório do COMPAS seria apenas mais um dos
dados agregados que fundamentaram a decisão e que, se necessário, o juízo pode
também optar pela não utilização dele[16].
Um fato que fortalece a insegurança acerca desses mecanismos é a necessidade
de inserção de cinco avisos nos presenting investigation reports – PSI (similares ao
inquérito policial brasileiro) que contenham avaliações correcionais do COMPAS.
São eles:
“(…) primeiramente, a ‘natureza proprietária do COMPAS’ previne a
divulgação de como a pontuação de riscos são calculadas; em segundo lugar,
as pontuações do COMPAS não permitem a identificação de indivíduos
específicos de alto risco, uma vez que elas se baseiam em um grupo de dados;
em terceiro lugar, ainda que o COMPAS utilize de uma amostragem nacional
de dados, ainda não houve um ‘estudo com validação cruzada para a
população de Wisconsin; em quarto lugar, estudos questionam se [as
pontuações do COMPAS] classificam de maneira desproporcional ofensores
que se enquadram em alguma minoria; e quinto, o COMPAS foi desenvolvido
especificamente para auxiliar o Departamento de Correções a fazer
determinações pós-condenação.[17]
Um estudo extenso sobre o viés racial das análises do COMPAS e de outros
mecanismos de avaliação correcional utilizados nos Estados Unidos foi realizado
pela ProPublica, uma agência de jornalismo independente norte-americana.Esse
estudo questionou se os números dos estudos oficiais sobre esses mecanismos
condizem com a realidade de sua utilização.
O estudo da ProPublica constatou que, na verdade, o nível de exatidão de 70% do
COMPAS (que o tornava aceitável e viabiliza seu uso pelos tribunais norte-
americanos) era controverso quanto à origem étnica dos ofensores. Se, em dados
oficiais, os erros de cálculo do programa eram ligeiramente visíveis, os dados da
ProPublica demonstraram o grande percentual de erros de previsão, o que impacta
a média da pontuação entre negros e brancos – significativamente maior para
aqueles em relação a estes.[18]
Entretanto, existe fundada preocupação na simplificação do problema de racial
bias das decisões que utilizem o COMPAS[19]. Argumenta-se que, ao transpor essa
problemática para um viés dos algoritmos, cria-se um imaginário de que ela pode
ser resolvida por meio apenas do aprimoramento dos cálculos e estatísticas
envolvidos, quando, na verdade, esse viés racial permeia todo o aparato judicial, da
abordagem policial até a condenação dos cidadãos.[20]
Para além disso, diversos juristas consideram que os softwares de avaliação
correcional não seriam nada mais que uma ferramenta[21] que auxiliaria juízes a fazer
um trabalho que eles já desempenham de outras maneiras[22]. Eventuais erros de
classificação por parte juízes que utilizam tal ferramenta seriam, portanto, tão
negativos (e talvez não tão frequentes) quanto erros de magistrados que não as
utilizem.
Esse é apenas um dos diversos casos em que o poder judiciário tem utilizado o
aprendizado de máquina para auxiliar em tomadas de decisões, o caso demonstra a
necessidade da discussão acerca dessas ferramentas e da transparência em sua
estruturação e implementação. Deve-se traçar parâmetros claros para evitar
violações de direitos humanos, ainda que se defenda a utilização de programas de
avaliação correcional como meio de traçar parâmetros objetivamente mais justos
para auxiliar decisões.
Victor: Inteligência artificial para aumentar a eficiência do
Supremo Tribunal Federal
O Brasil é um dos países com maiores índices de congestionamento no judiciário do
mundo. São cerca de 100 milhões de processos em tramitação e o Poder Judiciário
recebe cerca de 30 milhões de novos casos por ano[23]. Ainda que a produtividade
média dos magistrados brasileiros seja relativamente alta[24], e tenha aumentado
constantemente ao longo dos últimos anos, tal avanço não contém o crescimento
dos casos pendentes. Isso faz com que o aumento da eficiência dos tribunais
demande mais do que a mera contratação de funcionários ou capacitação de nossa
mão-de-obra e se volte para mudanças culturais e tecnológicas.
É nesse contexto que surge o Victor, programa baseado em Inteligência Artificial
que busca agilizar a tramitação dos processos que chegam à última instância do
judiciário brasileiro. Os onze ministros do Supremo Tribunal Federal (STF) foram
incumbidos, em 2016, do julgamento de cerca de 140 mil casos[25], o que equivale a
uma média de pouco mais de 12 mil casos por ano para cada um dos ministros.
Mesmo com um número considerável de servidores nos gabinetes ministeriais, este
volume de casos não condiz com o tamanho das equipes e muito menos com as
ferramentas disponíveis a elas. Além disso, a adoção de uma nova tecnologia que
venha a tornar mais eficiente a dinâmica do STF cria possibilidades para a expansão
de seu uso em outros tribunais, uma vez que a validação por parte do Supremo já é
suficiente para a administração interna dos tribunais hierarquicamente inferiores.
O desenvolvimento do projeto Victor foi realizado por meio de uma parceria
entre o STF e a Universidade de Brasília (UnB), notadamente a Faculdade de Direito
(FD), o Grupo de Pesquisa em Aprendizado de Máquina (GPAM) da Faculdade de
Engenharias do Gama (FGA) e o Departamento de Ciência da Computação (CIC) da
universidade. Por ser composta por entidades do Poder Público, foi possível que a
parceria se realizasse por meio de um Termo de Execução Descentralizada, nos
moldes do decreto nº 6.170/07. Optou-se por essa modalidade devido a dificuldade
de se enquadrar serviços de inovação nos parâmetros da Lei de Licitações[26], sendo
que o termo consiste em “instrumento por meio do qual é ajustada a
descentralização de crédito entre órgãos e/ou entidades integrantes dos
Orçamentos Fiscal e da Seguridade Social da União, para execução de ações de
interesse da unidade orçamentária descentralizadora e consecução do objeto
previsto no programa de trabalho, respeitada fielmente a classificação funcional
programática”[27].
O programa se propõe a utilizar de aprendizado de máquina para o agrupamento,
classificação, predição e inferência nesse grande volume de dados. O objetivo final
do projeto é conseguir identificar os processos que chegam ao STF e são afetados
por temas de Repercussão Geral[28]. Ou seja, a finalidade do Victor é acusar quais
seriam aqueles processos cuja resolução já tenha sido debatida e padronizada pelo
Supremo, agilizando a sua tramitação e dando mais espaço para que os ministros se
dediquem ao julgamento de teses inéditas ou que tenham sua validade
controvertida de fato .
Ao longo do desenvolvimento do projeto, os pesquisadores concluíram de que
uma das etapas necessárias para se chegar ao objetivo final já seria de muito valor
para o STF: a classificação das peças. Assim, mesmo sem a solução final para o
problema mais complexo, que seria a identificação de temas de repercussão geral
em novos processos, o sistema foi ao ar e já funciona desde agosto de 2018[29].
A despeito de um potencial ganho de eficiência nos julgamentos do STF a partir
da implementação do Victor, há de se ressaltar que o desenvolvimento do projeto
não tem contado com a participação efetiva da comunidade jurídica. Construído
por uma equipe interdisciplinar da UnB, o sistema já está funcionando – ainda que
de maneira restrita – e, conforme avance o seu desenvolvimento, ele deve impactar
de maneira cada vez mais decisiva a vida de cidadãos que possuam processos sob
jurisdição do Supremo.
A constatação de que determinada tese se encontra assentada na jurisprudência
por um software, como seria o caso de processos afetados por decisão de
Repercussão Geral, pode definir o futuro da causa em litígio de maneira tão direta
quanto o próprio COMPAS, software de avaliação correcional citado anteriormente.
Além disso, o caráter definitivo dos julgamentos do Supremo pode trazer
consequências significativas no caso de decisões influenciadas por eventuais erros
de classificação.
Segundo o diretor-geral do STF, Eduardo Toledo, o projeto Victor trabalha sob a
premissa da absorção da tecnologia pela Administração Pública[30], o que permitirá a
abrangência do escopo de atuação do sistema para demais tribunais de justiça do
país. Tal afirmativa, ao mesmo tempo que soa como um compromisso de maior
abertura no desenvolvimento futuro do projeto, carrega consigo uma promessa de
maior abrangência e potencial de opacidade do sistema, caso tal compromisso não
seja cumprido. Vale apontar que, até o momento, o projeto Victor possui pouca
bibliografia técnica disponível e participação restrita da comunidade acadêmica e
jurídica como um todo. Assim, o presente caso demonstra que, mesmo em
situações cujo risco de dano ainda não seja tão palpável, como na classificação de
processos, o interesse público do acompanhamento do projeto se mostra presente.
Operação Serenata de Amor: Transparência e
processamento de dados automatizados
Caso interessante do uso de aprendizado de máquinas e construção colaborativa é
a Operação Serenata de Amor, que buscou criar uma inteligência artificial que
fiscalizasse gastos públicos. A Lei nº 12.527/2011[31] regulamenta o direito
constitucional para acesso às informações públicas. A lei entrou em vigor no dia 16
de maio de 2012 e busca possibilitar que qualquer pessoa, física ou jurídica possa ter
acesso às informações públicas de órgãos da Administração. Dessa forma, a Câmara
dosDeputados divulga os gastos feitos pela Cota para Exercício da Atividade
Parlamentar (CEAP)[32] – verba que custeia alimentação, transporte, hospedagem e
despesas com cultura e assinaturas de TV dos parlamentares. Esse benefício foi
estabelecido no Ato de Mesa nº 43 de 2009 e está sob a legislação interna da
Câmara dos Deputados. A Câmara disponibiliza a lista de cada um dos gastos,
incluindo CNPJ ou CPF do recebedor do dinheiro, em arquivos XML[33].
Pensando em aumentar a eficiência na averiguação desses benefícios, o grupo
Data Science Brigade criou a Operação Serenata De Amor[34]. O objetivo da
Operação é utilizar aprendizado de máquina para investigar contas públicas e
auxiliar no controle dos gastos parlamentares. A ideia surgiu do cientista de dados
Irio Musskopf, como forma de empregar a tecnologia para auxiliar no processo
democrático, fiscalizando gastos públicos.[35] O nome da operação é oriunda do
Caso Toblerone, caso em que uma parlamentar sueca renunciou seu cargo depois
de ter sido flagrada comprando chocolates Toblerone na fatura do seu cartão de
crédito corporativo[36]
Para executar e iniciar a operação foi desenvolvida uma inteligência artificial[37]
chamada Rosie, cuja programação permite analisar cada pedido de reembolso dos
deputados e identificar a probabilidade de ilegalidade. Rosie é um software que
aprende novos parâmetros e aplica os existentes utilizando o aprendizado de
máquina, conferindo diariamente cada pedido de reembolso dos deputados e
buscando identificar a probabilidade de ilegalidades nesses dados. O código
estabelece algumas hipóteses de gastos suspeitos, que compreendem, por exemplo,
distância viajada maior, limites da sub-cota superiores aos previstos, compra de
bebidas alcóolicas, preços muito altos de refeições, entre outros.[38]
A Rosie, em números segundo o último relatório da operação:
Notas fiscalizadas 3 milhões
Reembolsos suspeitos identificados: 8.216
Suspeitas de refeição mais cara que a média: 2.158
Suspeitas baseadas nos tempos de viagem dos
deputados: 792
Suspeitas referentes a empresas irregulares: 5240
Despesas suspeitas por meio de CPFs ou CNPJ
inválidos 16
Reembolso de caráter eleitoral 13
Valores suspeitos encontrados por Rosie R$ 3,2 milhões
Dados: Relatório Rosie 2017.[39]
Toda a tecnologia da Operação Serenata foi construída através de financiamento
coletivo e toda a equipe é formada por voluntários que realizam a construção do
projeto de modo público e colaborativo. Todo o código é aberto e, como tal,
disponibilizado livremente, utilizando o licenciamento livre para a esquematização
do produto e a redistribuição universal desse design ou esquema, dando a
possibilidade para que qualquer um consulte, examine ou modifique o código. Toda
a estrutura da Serenata de Amor pode ser encontrada e baixada livremente no
GitHub[40]. Dessa forma, qualquer órgão de combate à corrupção – e, de fato,
qualquer pessoa, de qualquer lugar do mundo – pode fazer uso dos algoritmos. O
modelo de código aberto adotado no desenvolvimento da aplicação muda
fundamentalmente as abordagens e a economia do desenvolvimento de um
software tradicional como o caso do COMPAS.[41]
Tipicamente, o código aberto é desenvolvido por uma comunidade de
programadores distribuída na Internet. Toda participação é voluntária e os
participantes não recebem compensação financeira pelo seu trabalho,
diferentemente do código proprietário ou fechado. Além disso, todo o código-fonte
é disponível ao público. O uso do código aberto em auxílio a tomadas de decisões e
fiscalizações levanta muitas questões interessantes e, inclusive, apresenta-se como
uma maneira de integralizar as lacunas que uma eventual regulação busque
superar, principalmente no que diz respeito ao direito à explicação.[42]
O modelo de código aberto consegue estabelecer tomada de decisões ao mesmo
tempo que concilia transparência e disponibilidade do código-fonte. Dessa forma,
faz-se possível que aqueles que estejam sujeitos às decisões ou procedimentos
possam saber quais são as variáveis deste código, quais critérios são levados em
consideração no aprendizado de máquina e diversos outros pontos que podem ser
observados através da análise do código-fonte aberto para todos.
Alternativas legislativas e opacidade – General Data
Protection Regulation (GDPR) e Lei Geral de Proteção de
Dados Pessoais (LGPD): “Direito à explicação” em decisões
automatizadas
Com o aumento da capacidade de armazenamento e processamento de dados,
temos o surgimento de preocupações na sociedade civil e no Estado,
principalmente no que diz respeito à transparência dos códigos e critérios adotados
nas tomadas de decisões automatizadas. É nesse contexto que o Regulamento Geral
de Proteção dos Dados Pessoais da União Europeia (GDPR)[43] entrou em vigor n o
dia 25 de Maio de 2018. A partir de então, o mundo entrou em um novo paradigma
de proteção de dados pessoais[44]. Sua abrangência sobre diversos temas fortalecem
os argumentos de que o regulamento será utilizado como modelo de regulação para
diversos países no mundo. Desde sua concepção, o Regulamento nº 679/2016
busca adequar a Europa a um novo cenário de uso das tecnologias e dos serviços
que utilizam internet em suas operações.
A lei busca estabelecer padrões para coleta, tratamento e processamento de
dados pessoais, criando direitos, deveres e garantias para os usuários e para as
empresas que utilizam dados pessoais. Dentre suas diversas provisões, o
regulamento trata sobre a tomada de decisão automatizada, em seus artigos 13, 14,
15, 22 e 23, assim como no recital 71. Essas disposições criam limitações para as
decisões automatizadas e exigem “explicações” sobre o funcionamento dos
algoritmos.[45]
Decisões automáticas e sem intervenção humana vão contra a noção de
autonomia e personalidade do regulamento europeu[46]. Portanto, a disposição da
regulação, ao discorrer sobre o direito à explicação, busca fornecer informações
significativas sobre como os dados são utilizados em decisões automatizadas.
Inúmeras controvérsias têm sido levantadas sobre quais são as possíveis aplicações
desse direito e como ele será colocado em prática. Dessa forma, acadêmicos em
todo o mundo têm publicado artigos sobre as implicações desse direito,
considerando sua tecnicidade e complexidade.[47].
Segundo a GDPR, se uma pessoa estiver sujeita a “decisão baseada unicamente no
processamento automatizado e que produz efeitos legais ou que de maneira similar
afete significativamente a vida da pessoa”[48], existe a previsão, a partir de então, do
direito à explicação[49]. O direito à explicação, no caso, prevê que sejam concedidas
“informações significativas”[50] sobre a “lógica envolvida na decisão”. Tal informação
deverá ser facilmente interpretada pelo titular dos dados, sendo possível a sua
interpretação por um humano sem conhecimentos técnicos.[51] Essas determinações
além de previstas nos artigos 13 e 15 que tratam de direito de acesso, também estão
previstas nos seguintes artigos:
Artigo 22 (a): estabelece que “todos possuem o direito de não estarem
sujeitos a decisões baseadas apenas em automações, incluindo ‘profilização’
ou decisões que produzam efeitos legais similares e que afetem diretamente
um cidadão”.
Artigo 22 (b): determina circunstâncias para quando decisões
automatizadas são permitidas, provendo diferentes proteções para que o
titular dos dados possa efetivamente exercer seus “direitos, liberdades e
interesses legítimos”.
Artigo 23 (c) determina que quando houver decisões automatizadas
necessárias ou contratuais, algumas garantias serão estabelecidas para o
titular dos dados, incluindo o direito de obter uma intervenção humana em
alguma parte do processamento para expressar o seu ponto de vista sobre a
decisão.
Por fim, a GDPR possui uma gama de recitais,[52] que são orientações para melhor
aplicação e interpretação da lei positivada. Recitais não possuem papel normativo,
entretanto, serão fundamentais para guiar a aplicação efetiva da lei europeia. O
recital 71 incluiponderações relevantes à análise do artigo 22. Além da previsão de
que há a necessidade de uma intervenção humana em alguma parte do processo,
estabelece que além dessa intervenção existe a garantia de que se possa obter uma
explicação sobre a decisão alcançada e ter a oportunidade de contestar tal decisão.
[53]
Essas garantias suprem, em certa medida, a lacuna contida no direito de
intervenção , criticado por ser facilmente contornável. Tal crítica fundamenta-se à
partir da tese de que a simples autenticação humana dos resultados obtidos na
análise da inteligência artificial seria suficiente para fazer valer as disposições do
diploma regulatório, passível de advir, inclusive, dos próprios responsáveis pela
decisão. Mesmo que a GDPR garanta o direito à explicação e o de revisão de
decisões automatizadas, é importante ressaltar que estes direitos possuem mais
restrições no direito europeu do que no brasileiro, que será discutido em breve.
O direito previsto no escopo da regulação europeia tem como objetivo
contemplar todas as possíveis aplicações que utilizem um software para auxiliar em
tomadas de decisões que afetem a vida dos cidadãos. Softwares proprietários e
fechados que emitam decisões significativas são diretamente afetados pela
regulação. Desde a entrada em vigor do marco regulatório, eles podem ser
obrigados a prestar explicações significativas sobre suas aplicações e a lógica por
trás dos inputs de seus códigos, bem como a forma como ele interpreta essas
informações. Outras interpretações são apontadas acima, que sim, a existência de
um direito à explicação é positivada nos artigos 13, 14 e 15 da lei. Por fim, como
aponta Renato Leite:
“A interpretação em prol da existência de tais direitos visa dar sentido à
intenção do legislador, como demonstrado através dos considerandos da
GDPR, e também conforme as necessidades oriundas dos atuais modelos de
negócio e tecnologias que cada vez mais têm um impacto direto nas nossas
vidas, influenciando-a por meio de decisões controladas por algoritmos
opacos e obscuros. Garantir tal direito significa influenciar a forma como
sistemas são desenvolvidos para deixá-los mais transparentes e justos.”;
LGDP
Após diversos anos de discussão e elaboração tivemos a aprovação da Lei Geral de
Proteção de Dados Pessoais (Lei 13.709/2018) no dia 14 de agosto de 2018. A lei
busca trazer um novo arcabouço jurídico e também consolidar mais de quarenta
normas setoriais que já estavam positivadas de maneira esparsa no ordenamento
brasileiro. Como o presente trabalho não buscará tratar especificamente sobre a
LGDP, buscaremos entender e interpretar apenas o artigo 20, que é essencial para a
análise de softwares de tomada de decisões automatizada.
No artigo é previsto que “O titular dos dados tem direito a solicitar a revisão de
decisões tomadas unicamente com base em tratamento automatizado de dados
pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu
perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua
personalidade”.
O modelo adotado em relação ao Direito à explicação no Brasil é claramente
inspirado no modelo de regulação europeu. Entretanto, o modelo europeu possui
ainda menos possibilidades do que o modelo brasileiro, principalmente por não
incluir dados anonimizados e por limitar o direito de oposição caso haja
consentimento inequívoco ou a execução de um contrato.[54] Mesmo que o modelo
brasileiro seja mais amplo que o Europeu, é importante que estejamos atentos para
como irá se comportar a Autoridade Nacional de Proteção de Dados e os tribunais,
visto que para trazer explicação sobre o funcionamento desses algoritmos, muitas
das vezes terá que ser realizado um tradeoff entre o segredo de negócio e as
informações que deram determinada decisão automatizada.
Conclusão
Atualmente muitos são os debates sobre o uso de sistemas de decisão algorítmica
em instituições, principalmente aquelas relacionadas ao poder público. Também é
notório o aumento do uso de tecnologias computacionais e preditivas no setor
privado, organizações da sociedade civil e governos, principalmente em
procedimentos e processos de tomada de decisão. Como resultado, discussões
acerca de mecanismos de reparação para proteger a sociedade de eventuais danos
emergiram tanto no meio acadêmico quanto no político.
O presente trabalho não busca exaurir a extensa discussão sobre aprendizado de
máquina, inteligência artificial e suas aplicações no poder público. Ele se propõe, no
entanto, a suscitar o debate relacionado à individualização dos procedimentos e
impactos da utilização destes algoritmos à partir da análise de casos concretos em
que já se tem utilizado essas tecnologias para auxiliar a Administração.
A adoção do método de estudo de caso tem como objetivo demonstrar aplicações
utilizadas em diversos setores da sociedade através dos 3 exemplos selecionados:
COMPAS, Operação Serenata de Amor e Victor. Os três casos, mesmo com suas
diversas diferenças, demonstram a aplicação de inteligência artificial e aprendizado
de máquinas para tomada de decisão relacionadas ao poder público, com impacto
em diferentes esferas da sociedade.
O primeiro é um exemplo de utilização de uma IA que possui o objetivo de
subsidiar os magistrados nas decisões pós-condenação por meio de uma pontuação
que leva em conta aspectos objetivos dos ofensores. Entretanto, ela também acaba
por ser utilizada em outros tipos de processos decisórios pré-julgamento. O
COMPAS não traz elementos suficientes para a compreensão devida da sentença e,
ao ter sua utilização extrapolada para outros tipos de decisão, acaba por prejudicar
o direito à fundamentação das decisões. Para além disso, seu caráter proprietário
mostra-se como um obstáculo para a devida compreensão do mecanismo. Muito
embora o argumento de que o enviesamento (bias) do sistema não estaria no
COMPAS (mas sim no sistema penitenciário como um todo) seja essencial para a
análise, ele não justifica a falta de transparência do modelo.
As outras aplicações de IA analisadas não influenciam diretamente as decisões em
seu sentido estrito, uma vez que são mecanismos de apoio para a
procedimentalização de atividades que são anteriores a essa tomada de decisão.
Ainda assim, ambas influenciam diretamente as decisões judiciais em sentido
amplo, pois tanto chamar a atenção para os gastos de parlamentares (Serenata de
Amor) quanto a distribuição recursos no Supremo Tribunal Federal. No caso do
Victor, vale ressaltar que, por ter sua aplicação na última instância decisória do
Poder Judiciário, decisões indiretamente afetadas pelo software têm um caráter
notadamente definitivo, o que faz com que a situação de eventuais erros de
classificação sejam ainda mais delicados.
Tais tecnologias tendem a se desenvolver e expandir nos próximos anos. Dessa
forma, discussões sobre como conciliar os benefícios advindos da utilização destes
programas com a crescente necessidade por transparência são essenciais, de
maneira a sopesar os benefícios e os riscos da utilização deles.
Esses anseios têm chamado a atenção de Estados, sociedade civil e legisladores,
sendo evidenciado através de regulações que têm buscado abranger essa discussão
e da criação de institutos como o direito à explicação. Essa garantia é um primeiro
passo para se garantir algum nível de transparência no que diz respeito às decisões
automatizadas. Entretanto, apenas a regulação não será o suficiente para que
tenhamos uma real efetividade da aplicação desse direito e da transparência dessas
informações. É necessário um trabalho constante junto à formação da opinião
pública em busca de métodos que viabilizem a implementação e fiscalização da
transparência desses softwares.
Diversas são as aplicações dessas tecnologias e a os métodos para se garantir a
efetividade e a transparência das mesmas. Um dos caminhos para gerar maior
clareza desse fenômeno perpassa pela discussão sobre código aberto e código
fechado. Através dos casos propostos, observa-se que o código abertoestabelece
transparência e horizontalidade no desenvolvimento do programa que influencia a
tomada de decisões, criando maior segurança jurídica para aqueles afetados por
elas. Isso impacta diretamente na proteção de direitos, garantias e transparência
sobre quais são os critérios levados em consideração pela aplicação.
Por outro lado, especialmente em casos no qual são utilizados softwares
proprietários, como o COMPAS, há a necessidade de adaptação para provimento de
maior transparência sobre os critérios e métodos empregados. Sendo assim, as
regulações de proteção aos dados pessoais, ao disporem sobre o Direito à
explicação, buscam disciplinar responsáveis pelo desenvolvimento de códigos que
emitam decisões significativas sobre os cidadãos, caso não estejam preparados para
prover explicações inteligíveis acerca da estrutura lógica dessa tomada de decisão.
Por fim, é necessário levar em consideração que, ainda que exista um trade off
entre fomento à inovação e regulação de setores de tecnologia, não se pode deixar
que a euforia advinda dos avanços tecnológicos se sobreponha à salvaguarda de
direitos básicos dos cidadãos, como o devido processo legal, o direito a decisões
individualizadas e a transparência da atuação do poder público e de entidades da
sociedade civil.
Referências Bibliográficas
Livros e capítulos de livros
FERRAZ JR, Tércio Sampaio. Introdução ao Estudo do Direito. Técnica, Decisão,
Dominação. Editora Atlas S.A. São Paulo, 2003.
KAPLAN, Jerry. Artificial Intelligence. Series: What Everyone Needs to Know.
Oxford: Oxford University Press, 2016.
RUSSEL, Stuart e NORVIG, Peter. Artificial Intelligence, a Modern Approach. New
Jersey: Pearson, 2010
Artigos científicos
LEITE, Renato. Existe um direito à explicação na Lei Geral de Proteção de Dados do
Brasil?. Instituto Igarapé, 2018.
AMARAL, Guilherme Rizzo. Efetividade, segurança, massificação e a proposta de
um “incidente de resolução de demandas repetitivas”. São Paulo: Editora Revista dos
Tribunais Ltda, 2011.
CUI, Gregory. Evidence-Based Sentencing and the Taint of Dangerousness, 125 Yale
L.J. F. 315 (2016).
DE HERT, P.; CZERNIAWSKI, M. Expanding the European data protection scope
beyond territory: Article 3 of the General Data Protection Regulation in its wider
context. International Data Privacy Law, v. 6, n. 3, p. 230–243, 2016.
FARABEE, David et al. California Department Of Corrections And Rehabilitation.
COMPAS Validation Study: Final Report. Los Angeles: University Of California, 2010.
HARS, Alexander; OU Shaoshong. Working for Free? Motivations for Participating
in Open-Source Projects.
HARVARD LAW REVIEW. State v. Loomis: : Wisconsin Supreme Court Requires
Warning Before Use of Algorithmic Risk Assessments in Sentencing. Harvard Law
Review. Cambridge, p. 1530-1537. 17 mar. 2017
HYATT, Jordan M. et al., Reform in Motion: The Promise and Perils of Incorporating
Risk Assessments and Cost-Benefit Analysis into Pennsylvania Sentencing, 49 Duq. L.
Rev. 707, 723 (2011).
JONES, Meg. The right to a human in the loop: Political constructions of computer
automation and personhood.
SELBST, Andrew; POWLES, Julia. Meaningful information and the right to
explanation.
Tim Brennan et al., Northpointe Inst. for Pub. Mgmt. Inc., Evaluating the
Predictive Validity of the COMPAS Risk and Needs Assessment System, 36 CRIM.
JUST. & BEHAV. 21, (2009).
WACHTER, Sandra; MITTELSTADT, Brent; FLORIDI, Luciano. Why a right to
explanation of automated decision-making does not exist in the general data
protection regulation. International Data Privacy Law, v. 7, n. 2, p. 76-99, 2017.
Legislação
BRASIL. Código de Processo Civil. Brasília, DISTRITO FEDERAL, 2015
BRASIL. Lei n. 12.527, de 18 de nov. de 2011. Lei de acesso à informação. p. 1-33,
nov. 2011.
Outros textos e documentos
ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias.
ProPublica. Disponível em:
CÂMARA DOS DEPUTADOS. Dados Abertos – Cota Parlamentar Cota para
Exercício da Atividade Parlamentar em Dados Abertos.
Cota para o exercício da atividade parlamentar Informações e legislação sobre as
cotas para o exercício da atividade parlamentar. Disponível em:
<http://www2.camara.leg.br/transparencia/acesso-a-
informacao/copy_of_perguntas-frequentes/cota-para-o-exercicio-da-atividade-
parlamentar> Acesso em 15/05/2018.
NOJIRI, Sergio. Decisão judicial. Enciclopédia jurídica da PUC-SP. Celso
Fernandes Campilongo, Alvaro de Azevedo Gonzaga e André Luiz Freire (coords.).
Tomo: Teoria Geral e Filosofia do Direito. Celso Fernandes Campilongo, Alvaro de
Azevedo Gonzaga, André Luiz Freire (coord. de tomo). 1. ed. São Paulo: Pontifícia
Universidade Católica de São Paulo, 2017.
PAZZIM, Bruno. Relatório trimestral da operação de amor. Disponível em
<https://bit.ly/2x0l5Es> Acesso em: 09/05/2018
https://bit.ly/2GG4DZy
https://bit.ly/2x0l5Es
SIMPSON, peter. Corruption unit to investigate Mona Sahlin. Disponível em
<https://bit.ly/2J2gPZC> Acesso em 08/05/2018
VILANOVA, Pedro. R$ 3,2 milhões em 8.216 reembolsos suspeitos: as métricas do
trabalho da Rosie nos últimos dias. Disponível em <https://bit.ly/2IEn6eT>
1. Analista de Gestão de Produto – Jusbrasil. Formado em Direito pela
UFMG, com certificação em liderança de Novos Negócios pelo MIT
Bootcamps e pela University of Miami School of Law. ↵
2. Graduando em Direito na Universidade Federal de Minas Gerais
(UFMG), concluiu o ensino médio integrado ao curso Técnico em
Informática pelo Instituto Federal de Minas Gerais (IFMG). Alumni da
Escola de Governança da Internet (EGI) e bolsista do programa
Youth@IGF (2017) e Youth@IGF (2018) do CGI.br. ↵
3. RUSSEL, Stuart e NORVIG, Peter. Artificial Intelligence, a Modern
Approach. New Jersey: Pearson, 2010. p. 02. Tradução nossa. ↵
4. KAPLAN, Jerry. Artificial Intelligence. Series: What Everyone Needs to
Know. Oxford: Oxford University Press, 2016. p 27-32. ↵
5. NOJIRI, Sergio. Decisão judicial. Enciclopédia jurídica da PUC-SP.
Celso Fernandes Campilongo, Alvaro de Azevedo Gonzaga e André
Luiz Freire (coords.). Tomo: Teoria Geral e Filosofia do Direito. Celso
Fernandes Campilongo, Alvaro de Azevedo Gonzaga, André Luiz
Freire (coord. de tomo). 1. ed. São Paulo: Pontifícia Universidade
Católica de São Paulo, 2017. Disponível em:
https://enciclopediajuridica.pucsp.br/verbete/57/edicao-
1/decisao-judicial ↵
6. Nesse sentido, destaca-se o art. 489, II do Código de Processo CIvil.
“São elementos essenciais da sentença: II - os fundamentos, em que o
juiz analisará as questões de fato e de direito;” (BRASIL. Código de
Processo Civil. Brasília, DISTRITO FEDERAL, 2015.) ↵
7. AMARAL, Guilherme Rizzo. Efetividade, segurança, massificação e a
proposta de um “incidente de resolução de demandas repetitivas”.
São Paulo: Editora Revista dos Tribunais Ltda, 2011. Revista de
Processo ano 36 v. 196. apud. ARMELÍN, Donaldo. Observância da
coisa julgada e enriquecimento ilícito: postura ética e jurídica dos
magistrados e advogados. Brasília: Conselho de Justiça
Federal/Centro de Estudos, 2003. Cadernos do CEJ 23, p. 292. ↵
8. Tim Brennan et al., Northpointe Inst. for Pub. Mgmt. Inc., Evaluating
the Predictive Validity of the COMPAS Risk and Needs Assessment
https://bit.ly/2J2gPZC
https://bit.ly/2IEn6eT
https://enciclopediajuridica.pucsp.br/verbete/57/edicao-1/decisao-judicial
System, 36 CRIM. JUST. & BEHAV. 21, (2009). ↵
9. Idem. p.3. ↵
10. Idem. p.34. Tradução nossa. ↵
11. Idem. p.2. Tradução nossa. ↵
12. FARABEE, David et al. California Department Of Corrections And
Rehabilitation. COMPAS Validation Study: Final Report. Los Angeles:
University Of California, 2010. Disponível em:
<https://bit.ly/2kfYQ3W> ↵
13. Idem. p4. ↵
14. Para uma lista atualizada de todos os estados e respectivos
programas de avaliação de risco nos Estados Unidos, acessar o site da
Electronic Privacy Information Center (EPIC). Disponível em:
<https://epic.org/algorithmic-transparency/crim-justice/> .
Acesso em 31 de janeiro de 2019. ↵
15. HARVARD LAW REVIEW. State v. Loomis: : Wisconsin Supreme CourtRequires Warning Before Use of Algorithmic Risk Assessments in
Sentencing. Harvard Law Review. Cambridge, p. 1531 ↵
16. Id. 1532-1533 ↵
17. Texto original: “(...) first, the ‘proprietary nature of COMPAS’ prevents
the disclosure of how risk scores are calculated; second, COMPAS
scores are unable to identify specific high-risk individuals because
these scores rely on group data; third, although COMPAS relies on
national data sample, there has been ‘no cross-validation study for a
Wisconsin population’; fourth, studies ‘have raised questions about
whether [COMPAS scores] disproportionately classify minority
offenders as having higher risk of recidivism’; and fifth, COMPAS was
developed specifically to assist the Department of Corrections in
making post-sentencing determinations.” Tradução nossa. HARVARD
LAW REVIEW. State v. Loomis: : Wisconsin Supreme Court Requires
Warning Before Use of Algorithmic Risk Assessments in Sentencing..
Harvard Law Review. Cambridge, p. 1533. ↵
18. ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren.
Machine Bias. ProPublica. Disponível em:
<https://www.propublica.org/article/machine-bias-risk-
assessments-in-criminal-sen tencing> Acesso em: 22 de maio de
2018. ↵
19. Para maior aprofundamento nesse assunto, ler o artigo “Why big-data
analysis of police activity is inherently biased”, de William Isaac e Andi
Dixon. Disponível em <https://bit.ly/2IY27TI> Acesso em 31 de
janeiro de 2019. ↵
20. Para aprofundar essa discussão, ver o tutorial do Humans Rights Data
Analysis Group. Disponível em: <https://bit.ly/2KNKLpU> . Acesso
em 19 de maio de 2018. ↵
21. Jordan M. Hyatt et al., Reform in Motion: The Promise and Perils of
Incorporating Risk Assessments and Cost-Benefit Analysis into
Pennsylvania Sentencing, 49 Duq. L. Rev. 707, 723 (2011). ↵
22. Gregory Cui, Evidence-Based Sentencing and the Taint of
Dangerousness, 125 Yale L.J. F. 315 (2016). ↵
23. Justiça em Números 2018: ano-base 2017/Conselho Nacional de
Justiça - Brasília: CNJ, 2018. ↵
24. Segundo dados de 2014, a produtividade média de um juiz brasileiro é
cerca de duas vezes maior que a dos italianos e espanhóis, e cerca de
quatro vezes maior que a dos portugueses. Disponível em
<https://exame.abril.com.br/brasil/por-que-a-justica-brasileira-e-
lenta/> . Acesso em 31 de janeiro de 2019. ↵
25. Supremo em ação 2017: ano-base 2016/Conselho Nacional de Justiça
- Brasília: CNJ, 2017. ↵
26. TOLEDO, Eduardo S. Projetos de inovação tecnológica na
Administração Pública. In: FERNANDES, Ricardo Vieira de Carvalho;
CARVALHO, Ângelo Gamba Prata de (Coord.). Tecnologia jurídica &
direito digital: II Congresso Internacional de Direito, Governo e
Tecnologia – 2018. Belo Horizonte: Fórum, 2018. p. 83-87. ISBN 978-
85-450-0584-1. ↵
27. BRASIL. DECRETO Nº 6.170, DE 25 DE JULHO DE 2007. Dispõe sobre
as normas relativas às transferências de recursos da União mediante
convênios e contratos de repasse, e dá outras providências., Brasília,
DF, julho 2007. Disponível em:
<http://www.imprensanacional.gov.br/mp_leis/leis_texto.asp?
ld=LEI %209887> . Acesso em: 12 out. 2017. ↵
28. SILVA, Nilton Correia da. Notas iniciais sobre a evolução dos
algoritmos do VICTOR: o primeiro projeto de inteligência artificial em
supremas cortes do mundo. In: FERNANDES, Ricardo Vieira de
Carvalho; CARVALHO, Ângelo Gamba Prata de (Coord.). Tecnologia
jurídica & direito digital: II Congresso Internacional de Direito,
Governo e Tecnologia – 2018. Belo Horizonte: Fórum, 2018. p. 89-94.
ISBN 978-85-450-0584-1. ↵
29. [29] “Ministra Cármen Lúcia anuncia início de funcionamento do
Projeto Victor, de inteligência artificial”. Disponível em
<http://www.stf.jus.br/portal/cms/verNoticiaDetalhe.asp?
idConteudo=388443> . Acesso em 31 de janeiro de 2019. ↵
30. Ver TOLEDO, Eduardo, supracitado na nota de rodapé 24, p. 86. ↵
31. BRASIL. Lei n. 12.527, de 18 de nov. de 2011. Lei de acesso à
informação. p. 1-33, nov. 2011. Disponível em:
<https://bit.ly/2LkwxxK> . Acesso em: 30 de Janeiro 2019. ↵
32. Cota para o exercício da atividade parlamentar Informações e
legislação sobre as cotas para o exercício da atividade parlamentar.
Disponível em: <https://bit.ly/2GG4DZy> Acesso em 30/01/2019. ↵
33. Dados Abertos - Cota Parlamentar Cota para Exercício da Atividade
Parlamentar em Dados Abertos. Disponível em:
<https://bit.ly/1O0tQxX> Acesso em 29/01/2019. ↵
34. Serenata de Amor. Disponível em: <https://serenata.ai/about/>
Acesso em 29/01/2019. ↵
35. Código fonte do software. Disponível em: <https://bit.ly/2ICVUZP>
Acesso em 29/01/2019. ↵
36. SIMPSON, Peter. Corruption unit to investigate Mona Sahlin.
Disponível em <https://bit.ly/2J2gPZC> Acesso em 29/01/2019. ↵
37. Segundo o próprio site da operação a ferramenta é denominada como
robô e inteligência artificial. Ver mais <https://serenata.ai/about/>
Acesso em 29/01/2019. ↵
38. PAZZIM, Bruno. Relatório trimestral da operação de amor. Disponível
em <https://bit.ly/2x0l5Es> Acesso em 29/01/2019. ↵
39. VILANOVA, Pedro. R$3,2 milhões em 8.216 reembolsos suspeitos: as
métricas do trabalho da Rosie nos últimos dias. Disponível em
<https://bit.ly/2IEn6eT> Acesso em: 30/01/2019. ↵
40. Mais informações em <
https://github.com/datasciencebr/serenata-de-amor> ↵
41. HARS, Alexander; OU Shaoshong. Working for Free? Motivations for
Participating in Open-Source Projects, Disponível em
<https://bit.ly/2LmTVL9> ↵
42. Idem. ↵
43. A sigla em inglês utilizada nas discussões acadêmicas e nos artigos
internacionais é GDPR, correspondente à General Data Protection
Regulation. Por essa razão, será essa a sigla adotada neste artigo. Em
portuguê s, a sigla corresponde à RGPD. UNIÃO EUROPEIA.
Regulamento N.2016/679 Geral de Proteção dos Dados Pessoais.
Disponível em: <https://gdpr-info.eu/>. Acesso em: 06/05/2018. ↵
44. DE HERT, P.; CZERNIAWSKI, M. Expanding the European data
44. DE HERT, P.; CZERNIAWSKI, M. Expanding the European data
protection scope beyond territory: Article 3 of the General Data
Protection Regulation in its wider context. International Data Privacy
Law, v. 6, n. 3, p. 230–243, 2016. ↵
45. SELBST, Andrew; POWLES, Julia. Meaningful information and the
right to explanation. Disponível em <https://bit.ly/2GFViRu> Acesso
em: 27/01/2019. ↵
46. JONES, Meg. The right to a human in the loop: Political constructions
of computer automation and personhood. Acesso em: 28/01/2019 ↵
47. Para ver mais sobre essas discussões, c.f.: WACHTER, Sandra;
MITTELSTADT, Brent; FLORIDI, Luciano. Why a right to explanation
of automated decision-making does not exist in the general data
protection regulation. International Data Privacy Law, v. 7, n. 2, p. 76-
99, 2017 e SELBST, Andrew D.; POWLES, Julia. Meaningful information
and the right to explanation. International Data Privacy Law, v. 7, n. 4,
p. 233-242, 2017. ↵
48. Artigos 13-15 (tradução literal). ↵
49. Em inglês o termo é “Right to Explanation”. Optamos adotar a
tradução “Direito à explicação”. ↵
50. Diversas discussões têm sido levantadas sobre qual seria o significado
do termo “informações significativas”. O texto em alemão do GDPR
usa a palavra “Aussagekra¨ftige”, o texto em francês refere-se a
“informações úteis”. Essas formulações invocam noções de utilidade,
confiabilidade e compreensibilidade. Estes conceitos são
relacionados, mas não idênticos, sugerindo que um sistema flexível e
de abordagem funcional será mais apropriado para a interpretação do
termo “significativas”. ↵
51. SELBST, Andrew; POWLES, Julia. Meaningful information and the
right to explanation. Disponível em <https://bit.ly/2GFViRu> Acesso
em: 28/01/2019. ↵
52. Ver mais em <https://gdpr-info.eu/recitals/> ↵
53. Idem. ↵
54. LEITE, Renato. Existe um direito à explicação na Lei Geral de
Proteção de Dados do Brasil?. Instituto Igarapé. Disponível em:
<https://igarape.org.br/wp-content/uploads/2018/12/Existe-um-
direito-a-explicacao-na-Lei- Geral-de-Protecao-de-Dados-no-
Brasil.pdf> ↵
9. Artificial intelligence in government: creating
a framework for transparency and accountability
LauraNathalie Hernández Rivera[1]
1. Transparent Digital Governments
New technologies are progressing rapidly and reaching many aspects of society and
our lives. In the same manner, AI will likely continue to develop and increase its
uses and applications, both in the private and public sector. The use of AI by
governments could increase in the following years with the aim of delivering
effective public services to address its citizens’ demands[2].
In general, governments should have the responsibility to show how the
implementation of technology benefits the public interest. A transparent public
administration shows the commitment to democratic values and the enforcement
of rights, and demonstrates a responsible and ethical government. Hence, adequate
regulation and implementation of technology should be based on transparency and
accountability processes. For example, governments should allow consumers and
citizens to have access to information about the processing of their data; establish
accountability measures to empower citizens against automated processes; and
should let access to the terms of agreements signed between public and private
entities in the use and implementation of AI[3]. That is, why transparency represents
a means for citizen participation, monitoring, control, and access to information on
innovation processes in the public sector.
In Brazil, governmental entities have set their eyes on AI; some even have already
implemented it. Next, a summary list of examples of AI in the public sector in Brazil:
a) the use of facial recognition systems at customs[4] for efficiency in tax collection:
‘SISAM’, ‘PGFN Analytics Tax assessment’; b) the use of AI in the Judicial System:
‘Victor’[5]; c) ‘Turmalina’[6], a project that has the objective to use AI for government
transparency and control of public revenue and expenditure; d) Facial recognition
systems for policing[7]. However, there still is no policy or regulation for
transparency and accountability of any of the implementation processes of AI in
Brazil[8]. Why should this be a concern or an issue? There are many examples that
prove that technology is not harmless, and is, therefore, susceptible to affect rights,
democratic processes, reinforce preconceptions, and increase the social gap. In the
absence of proper regulation, all of the latter will depend on how technology is
created, implemented or used by governmental entities.
The lack of adequate governance of technology could harm the efforts of
implementing governmental digital agendas for the delivery of public services. For
example, the implementation of facial recognition systems, and the automation of
public decisions implemented by the government, many times, lack the necessary
counterweights and the adequate multidisciplinary discussion regarding its ethical
and legal effects. The absence of regulation of AI means that there is also the
absence of the checks and balances over the government’s powers. Therefore, it is
fundamental to create the mechanisms that will determine the limits and
responsibility in the implementation of AI as input for trust in innovation, and as a
mechanism of participation and counterbalance of society. The latter could help to
promote open, transparent and accountable digital governments; and help build
confidence in AI as a tool for the delivery of better public services, without
infringing human rights.
This paper considers it urgent to discuss the challenges and necessary measures,
for building a framework for the responsible implementation of AI in the public
sector. Without the intention of being exhaustive, this paper will address next some
of the challenges and measures for the implementation of AI systems in the public
sector for building a regulatory framework based on transparency, human rights,
and accountability for AI governance.
2. AI for government effectiveness: concerns and challenges
Governments are increasingly interested in using big data and AI systems to deliver
effective public services and better policy. A key aspect is the collection of data of
its citizens. Estonia represents one of the best examples of countries that are
collecting data to improve their public services (i.e., tax collection, health services,
voting). For example, improving public services by building e-governments could
favor the indexes of a country’s competitiveness and economic growth, fight
against corruption and bureaucracy. Other countries in Latin America are also
implementing a digital agenda, as a strategy to improve the competitiveness and
performance of their governments[9].
The use of AI-driven solutions in government can help to alleviate the burden of
managing, collecting and analyzing large amounts of information. AI-solutions
adapted to a government’s needs can improve the efficiency of public services
better than if they were carried out by a human, especially repetitive tasks such as
the processing of large amounts of data. Also, there is a higher probability of the
accurateness of the results processed by AI. In simple words, AI can contribute to
lessening the workload in the public administration and improve public services.
AI surpasses human performance and capacities in many tasks. Nevertheless,
some of these tasks still require a ‘human approach’. Technologies should allow
humans to dedicate to other jobs that were not solved before due to the lack of
time or resources. In other words, the automation of tasks – that is to say those
that are repetitive, and that can be executed flawlessly and more effectively by an
AI system- will allow a person to dedicate their time to more complex tasks, or to
tasks that require human intervention. For example, issuing judicial or
administrative decisions go beyond the mere processing and analysis of greats
amounts of data; these type of decisions require a holistic approach (social, legal,
human), and will still require human supervision or intervention. In other words,
although the automation of tasks and decisions represents an advantage for the
delivery of effective services, it is still necessary to verify some of the results given
by AI, to certify that they follow human values.
Well designed, regulated and properly implemented AI tools, may contribute to
improve the effectiveness of public services and to produce more neutral and
transparent public decisions. However, it is necessary to understand how the
technology works; its learning capacities; how these capacities can improve in time;
how information is processed; what type of data feeds AI systems, and how this
affects the results it produces. The accuracy and quality of the data; bias and
opacity of algorithms; surveillance and oppression; data protection and information
security are some of the challenges that this paper identifies and considers
fundamental in the discussions regarding regulation and implementation of AI
systems in governments.
The information that serves as input for AI could be biased, unreliable or
inaccurate. This could also be the data helps train AI . AI systems execute a
probabilistic activity, where they collect, classify, evaluate and predict results. That
is to say, although it can produce results more accurately than those of a human,
there could be situations where AI will not have a better solution than that given by
a human, or it may produce unexpected or unreliable results. Therefore, if the data
that train the AI is not accurate or reliable, there is a likelihood that the results will
lack quality, reliability or even fairness. In these cases, human intervention may be
necessary to determine whether the solution given by AI systems represents
human values. Therefore, regarding data automation processes and predictions, it
is essential that AI systems use adequate, relevant and accurate data to provide the
proper and desired solutions or predictions. That is to say, that the quality and
precision of the data that serves as input to the AI is fundamental to determine the
qualityof the probabilistic results. The latter could determine the quality, trust and
effectiveness of the solutions sought to solve in governments.
The learning capacity of algorithms helps improve its analysis, precision, and
prediction capacities. Nevertheless, AI can still get ‘confused or make mistakes’[10].
The technology is a work-in-progress, not only because the technology developed
fairly recently but also because its algorithms continue to improve in time. Since AI
can produce results that do not represent human values; imprecise or biased
outputs; or that produce negative consequences in society, it is vital to regulate AI
accordingly to the applicable legal frameworks, policies or judicial decisions.
The use of facial recognition systems in the private and public sector is
increasing; however, its regulation has not been developed yet. Although the
technology is capable of creating patterns and processing large amounts of data, it
can be imprecise even in the simple analysis or tasks. Facial recognition systems
already produced inaccurate or erroneous results[11]. Dealing with imprecise and
unregulated systems that use sensitive biometric data is a concern. As this paper
mentioned before, Brazil is already using facial recognition for inspection and
security in airports, customs, and cities. Regulating and creating mechanisms to
correct potential failures of the technology should be a priority in the
implementation of AI in the public sector.
It is essential to understand the limitations of this technology, especially when its
effects may hinder civil rights and liberties. For example, in the State v. Loomis
case[12], the court sentenced Eric Loomis using a commercial AI-tool to determine
the risk of reoffending. Mr. Loomis lost his liberty, and could not challenge the
automated decision due to proprietary rights of the risk-assessment algorithms.
The limitation of civil rights by AI systems leads to the need to create measures to
contest public decisions that rely on the results produced by this technology. In
other words, the use of algorithms in decision-making processes can affect,
unfairly, the rights of citizens; therefore, citizens should have the right to contest
and access the necessary information related to automated public decisions to
guarantee due process.
Information security and privacy is also a great challenge for the implementation
of AI in the government. There should be more information on the cybersecurity
measures used for protecting the systems itself, and for protecting the integrity,
quality and confidentially of the data; especially personal identifiable information,
and sensitive information. On another hand, when discussing privacy and data
protection, it is crucial to obtain legitimate consent for the collection and
processing of personal data. In other words, a legitimate and specific consent
represents the authorization of the owner of the information to have its
information processed by third parties. To comply with that, there should be
enough information to the public about the collection and handling of such data to
legitimize the government’s use of the data to feed AI systems. In other words,
governments should inform the public the purposes or rationale of using the data;
and create the measures to allow access to, the analysis, and challenge the
information processed by AI systems.
Finally, the major challenge is to create mechanisms to inform the public about
the use and implementation of AI systems, and the measures that will promote
accountability in the public sector. This is even more important when considering
that these technologies can potentially affect civil rights and liberties. As this paper
will address next, AI Governance measures based on transparency and
accountability could help to build trust in governments and build trustworthy AI
systems.
3. Transparency-related reflections
Discussions about AI ethics need to move forward to regulation, accountability, and
transparency. The efforts in making AI less biased do not lessen some of the
challenges discussed before, such as the dangers of the use of AI as “oppressive and
continual mass surveillance”[13] systems; or the inherent risks regarding the
collection of mass amounts of information and sensitive information such as
biometrics[14].
Governments should be assessed by the effectiveness, quality, publicity,
accessibility, and legitimacy of its actions and initiatives. Transparency allows social
participation and accountability as a counterbalance of a government’s power.
Broadly, there are two ways – or ‘categories’- for governmental transparency and
access to information: through proactive and demand-driven[15] instruments.
Governments can be proactive by making available to the public and disseminating,
information about a government’s activity; while “demand-driven” refers to the
institutional commitment of responding to a citizen’s requests of information that
is not available or accessible. In this sense, there should be a counterbalance from
the public to challenge the criterions –ethical, legal- considered in the process of
implementing AI in the public sector. Consequently, proactive and demand-driven
transparency measures could “humanize” the processes where AI intervenes. In
other words, creating these measures represents an opportunity to explain AI in a
“human way” so that it encourages the participation and control of civil society.
The lack of regulation could limit due process, and generally, leads to insecurity
in automated decisions, and in AI. A way of approaching AI regulation is by
discussing the challenges and limits on the use of these systems, and by creating
the mechanisms for transparency and accountability of governmental entities.
Previously, this paper presented some of the challenges of AI systems; this paper
lists below some of the transparency and accountability measures that could
contribute to a responsible implementation of AI in the public sector. The measures
that this paper presents aims to promote publicity, accessibility, and legitimacy of
the actions and initiatives of governments in the implementation of AI through a)
cross-sector collaboration; b) consented, necessary and reliable data; c) waving
trade secrecy: auditable and explainable AI; d) contesting automated public
decisions; e) security and accountability.
a. Cross-sector collaboration
The implementation of AI in the government should be a discussion, as far as
possible, open to the public and based on democratic, multidisciplinary procedures
and according to standards based on human rights. The latter could encourage
participation, control, and access to information on innovation processes in the
public sector. It is important to view cross-sector collaboration as a virtuous
governance model, such as the Internet Governance multistakeholder model. The
multisectoral or cross-sector models help overcome regulation challenges of new
technologies. For instance, it requires the participation of parties that represent
different sectors and interests, and that contribute with their experience to create
a holistic approach for this type of processes.
In the delivery of public services, governments should ally themselves with all the
stakeholders to achieve full and trustable integration of AI, as is the case of the UK
Government Industrial Strategy[16], which takes a cross-sectoral approach to
integrate AI into the public. This approach encourages compliance of regulations
and observation of the public and therefore is crucial in AI regulation.
In general, encouraging cross-sector collaboration in the use, creation, and
implementation of AI in the public sector could serve for two purposes: to
overcome challenges that require a multisectoral approach; and second, to
democratize the integration of AI by including the public interest as a
counterbalance for government power.
b. Consented, necessary and reliable data
Governments should not collect unconsented, unnecessarydata or unreliable data.
More importantly, governments should not implement unreliable automation
systems or AI that has the potential to limit or restrict rights and liberties. As stated
previously, one of the challenges of AI implementation is that over time, these
systems, and particularly algorithms, reflect the inputs – the training data- used to
develop such systems. For example, if the system’s inputs are biased (regarding
gender, race, class[17]) the outputs will probably reflect such problematic. How can it
be assessed the reliability of the data used in AI that has already been implemented
by governments? In other words, what are the actual measures to access to such
information, to try to solve the issue of algorithmic opacity and data reliability of AI
systems in the government?
Data protection laws establish the purposes, limits, quality, and types of uses
allowed of the data that is collected. The collection of data through this type of
technology should require the express, informed, current, unequivocal consent of
the owner of the data. For instance, the ‘mere public notice’ that personal data is
being treated is not enough. Thus, given the dangers of mass surveillance, and on
another hand, considering the duty of governments to ensure due process and the
rule of law, bypassing the requirement of getting the consent to process
information by AI systems is questionable and should not be the rule. On the
contrary, there should be a “right to reject the application of these technologies in
both public and private contexts”[18]. For instance, Brazil recently approved its
general data protection law. Consequently, the Brazilian Government should
implement adequate measures for the treatment of personal data, such as the
restriction on the collection of unnecessary, unconsented or unreliable data
through AI systems implemented by governmental entities. How to determine if
these measures have been created and implemented for an adequate treatment of
personal data? Through public instruments that allow access to information on the
operation of these systems, and on the data collection process.
c. Waving Trade Secrecy: Auditable and explainable AI
There is a real concern about opacity and biased data that may exacerbate
discrimination or contribute to unreliable results. A government agency should be
capable of understanding the possible outcomes of these technologies before
implementing them. More importantly, governmental entities have the
responsibility to create all the measures needed to ensure that technologies do not
produce adverse effects on society, and does not infringe human rights.
Auditing algorithms could help overcome the issue of opaque, discriminatory and
biased AI[19]. However, algorithm auditing is not a simple task. To audit an algorithm,
it requires understanding how algorithms work; how they are designed, and more
importantly, acknowledge their capacity to improve or learn in time.
Auditable and explainable AI requires compliance of all the applicable regulations,
and consideration of how private and public interests are weighted, to have access
to the necessary information of interest to the public, without unprotecting private
interests that may be affected. In that sense, another significant challenge is
ownership rights and trade secrecy of algorithms. In that sense, there are several
issues that still need to be analyzed and answered. For example, who owns the
rights over these technologies, and therefore can authorize an audit? Who is
responsible for correcting the undesired outcomes of algorithms? What should be
the limits on such audit? Who should conduct such an audit? What type of access
will the auditors have? What type of information will the public have access to?
Understanding and having access to the ways AI processes information and
predicts or delivers outcomes is challenging[20]. How can a solution to this problem
be addressed? Algorithmic transparency, accountability, and disclosure of code[21]
can contribute to the solution. The latter measures demand the waiver of trade
secrecy and other legal claims[22] to audit AI systems, and assess potentially biased
algorithms or contest public decisions.
d. Contesting automated public decisions
As presented before, the mathematical and probabilistic results of AI systems are
not always perfect. Perhaps, there will be times when human decision-making will
be better than the decisions made by technology. Unexpected scenarios should
open the door to human intervention to audit AI and to contest automated public
decisions.
On the other hand, a full exercise of the right to due process requires access to
information. A government that practices active transparency, and creates an
infrastructure that allows access to information regarding automated public
decisions will be fundamental in a transparent and accountable digital government.
In other words, it is consistent with due process to open the possibility of
exercising a right to contest automated public decisions.
The possibility of challenging automated decisions opens up the possibility of
remedying civil rights. It is not the intention of this paper to infer mistrust in all
automated decisions. As presented before, many times, AI systems are capable of
producing results more effective, faster and more accurate than a human produces.
However, having access to information to challenge an algorithmic output that
resulted in the restriction of civil rights or liberties is a matter of public interest.
Having such access allows the exercise of the right to defense, and consequently
the right to due process. Consequently, in order to contest automated decisions
and guarantee due process, it is compulsory the creation of the proper judicial and
procedural mechanisms to audit AI systems and allow human intervention when
necessary.
e. Security and accountability
When implementing AI, governments should have an ethical and legal responsibility
to inform the public about the origins of the technology. For example, information
such as the legality and legitimacy in obtaining the data to train the algorithms; the
human or economic resources and burdens that contributed to the development of
the technology, and information that allows the public to understand the purpose
for which the technology was created. Learning about the history of the systems,
the functioning details, and the structure of all the components of technologies
such as AI is essential to delivering a better audit for full accountability. This is
known as a “full stack supply chain“[23]. Having access to information or details about
AI systems could be relevant to understand the origin of the data that feeds the
algorithms; learn the operation of structural components and levels of protection;
understand cybersecurity measures that will prevent unauthorized access to
systems and data.
Overall, having access to the history and the details on the operation of AI
systems could contribute to accountability by facilitating the measures to
determining the degree of government compliance with applicable regulations[24], in
either the creation, implementation, or use of the technology. At the end, an
efficient and responsible public administration is not only the one that modernizes
its services and carries out tasks in less time; but also one that improves the lives of
its citizens, and improves the efficiency of public services through the use and
implementation of tech tools such as AI, through proper accountability
mechanisms.
Considerations
Governments have the responsibility of guaranteeing and protecting rights at all
times. Innovation and modernization of the public sector through the
implementation of AI requires the determination of transparency and
accountability measures in all the stages and processes from the creation, use, and
implementation of such technology. The use of AI in the government can help
improve the efficiency of public services, but regulation before theimplementation
should be mandatory.
Ethical debates regarding the use of AI need to move forward to regulation,
accountability, and transparency for its implementation in the public sector. For
many years, the discussion on AI focused on the establishment of ethical
parameters to address the problems related to this type of systems. Also,
governments should promote publicity, accessibility, and legitimacy of the actions
and initiatives regarding the implementation of AI in the public sector through
cross-sector collaboration; waving trade secrecy of algorithms; creating measures
to contest automated public decisions to enforce due process and creating
accountability measures based on human rights standards.
Although AI surpasses human capacities in many ways, it also has limitations.
Policymakers and governments should acknowledge the latter, and create the
necessary measures to respond to these limitations. That is why regulation and the
implementation of AI in government requires cross-collaboration, to allow
cooperation between stakeholders.
Proper regulation of AI is fundamental so that governments can seize the
advantages of such technologies. That is where transparency and accountability
can play a significant role. Transparency and accountability serve as a
counterbalance for the government’s power on decision-making, which could
contribute to the enforcement of rights.
Creating barriers to transparency[25] could harm trust in AI. It could also hinder
the participation of civil society, and naturally, contribute to the lack of trust in
governments. Unregulated disruption of technology[26] can harm societies and civil
rights. That is why it is crucial creating transparency measures for the
implementation of AI, to ensure the technology is not used to harm civil liberties. A
transparent regulation and implementation of AI in government will help build
trust. Establishing clear parameters for AI governance helps to build trust in these
technologies; trust in the government, and contributes to the effectiveness in the
delivery of services and policy.
References
AI NOW INSTITUTE. AI Now Report 2018. Available:
<https://ainowinstitute.org/AI_Now_2018_Report.pdf> Acessed: 18 May 2022.
BANCO INTERAMERICANO DE DESENVOLVIMENTO. Governos que servem:
inovações que estão melhorando a entrega de serviços aos cidadãos. Available: 
<https://publications.iadb.org/bitstream/handle/11319/7971/Governos-que-
servem-inovacoes-que-estao-melhorando-a-prestacao-de-servicos-aos-
cidadaos.PDF?sequence=8&isAllowed=y> Acessed: 18 May 2022.
BRASIL, PRESIDÊNCIA DA REPÚBLICA. Lei Nº 13.709, de 14 de agosto de 2018.
Available: http://www.planalto.gov.br/ccivil_03/_ato2015-
2018/2018/Lei/L13709.htm Acessed: 18 May 2022.
BRASIL, PRESIDÊNCIA DA REPÚBLICA. Lei nº 12.527, de 18 de novembro de 2011.
Available: http://www.planalto.gov.br/ccivil_03/_ato2011-
2014/2011/lei/l12527.htm Acessed: 18 May 2022.
BRASIL, Receita Federal. Available:
http://idg.receita.fazenda.gov.br/noticias/ascom/2017/novembro/sistema-de-
reconhecimento-facial-da-receita-federal-e-destaque-em-revista-internacional.
Acessed: 18 May 2022.
BRASIL, TCE. TCE expõe evolução de ferramentas para controle fiscal e social
dos gastos públicos. Available: http://tce.pb.gov.br/noticias/tce-expoe-evolucao-
de-ferramentas-para-controle-fiscal-e-social-dos-gastos-publicos Acessed: 18 May
2022.
IEEE. The IEEE Global Initiative for Ethical Considerations in Artificial
Intelligence and Autonomous Systems. Available:
https://standards.ieee.org/content/dam/ieee-
standards/standards/web/documents/other/ead_general_principles.pdf
Acessed: 18 May 2022.
FOX, J. The uncertain relationship between transparency and accountability.
Available: DOI 10.1080/09614520701469955 Acessed: 18 May 2022.
GASSER, U., ALMEIDA, V. 2017. A Layered Model for AI Governance. IEEE
Internet Computing 21 (6) (November): 58–62. Available:
DOI:10.1109/mic.2017.4180835. Acessed: 18 May 2022.
JAMBEIRO FILHO, Jorge. Inteligência Artificial no Sistema de Seleção Aduaneira
por Aprendizado de Máquina. Available:
https://www.researchgate.net/publication/291353182_Inteligencia_Artificial_no_Sistema_de_Selecao_Aduaneira_por_Aprendizado_de_Maquina
Acessed: 18 May 2022.
KROLL, J. A., HUEY, J….Accountable Algorithms. University of Pennsylvania Law
Review, Vol. 165, 2017 Forthcoming; Fordham Law Legal Studies Research Paper No.
2765268. Available: <https://ssrn.com/abstract=2765268> Acessed: 18 May 2022.
LIU, H.W., LIN, C.F., CHEN, Y.J. Beyond State v. Loomis: Artificial Intelligence,
Government Algorithmization, and Accountability. International Journal of Law
and Information Technology, Forthcoming. Available:
<https://ssrn.com/abstract=3313916> Acessed: 18 May 2022.
MIKHAYLOV, S.J.; ESTEVE, M.; CAMPION, A. Artificial intelligence for the public
sector: opportunities and challenges of cross-sector collaboration. Published: 06
August 2018. Available: <https://doi.org/10.1098/rsta.2017.0357> Acessed: 18 May
2022.
RASO, F., HILLIGOSS, H…. Artificial Intelligence & Human Rights. Available:
<https://cyber.harvard.edu/publication/2018/artificial-intelligence-human-
rights> Acessed: 18 May 2022.
UNITED NATIONS. E-government knowledgebase. Available:
<https://publicadministration.un.org/egovkb/en-us/Data/Compare-Countries>
Acessed: 18 May 2022.
After a year of tech scandals our 10 recommendations for AI. Available:
<https://medium.com/@AINowInstitute/after-a-year-of-tech-scandals-our-10-
recommendations-for-ai-95b3b2c5e5> Acessed: 18 May 2022.
Amazon Is Pushing Facial Technology That a Study Says Could Be Biased.
Available: <https://www.nytimes.com/2019/01/24/technology/amazon-facial-
technology-study.html> Acessed: 18 May 2022.
Artificial Intelligence Hits the Barrier of Meaning. Available:
<https://www.nytimes.com/2018/11/05/opinion/artificial-intelligence-machine-
learning.html?
fbclid=IwAR0axrbbKo1CD5fBLAGUQA6XneTeeletA9Bk9xOPDUqcZdflPnHXHfdzk30>
Acessed: 18 May 2022.
China’s tech giants want to go global. Just one thing might stand in their way.
Available: <https://www.technologyreview.com/s/612598/chinas-tech-giants-
want-to-go-global-just-one-thing-might-stand-in-their-way/> Acessed: 18 May
2022.
Decreto que amplia cargos que podem atribuir sigilo ultrassecreto à
informação pública é preocupante e contraria a LAI. Available:
<http://artigo19.org/blog/2019/01/24/decreto-que-amplia-cargos-que-podem-
atribuir-sigilo-ultrasessecreto-a-informacao-publica-e-preocupante-e-contraria-
a-lai/?fbclid=IwAR1yLWwYkKzTOpw4IODANOaAVu7osalocseISbrT0whU_A4ht-
H45_6Ky4c> Acessed: 18 May 2022.
Editor’s letter: China’s technology ambitions—and their limits. Available:
<https://www.technologyreview.com/s/612572/editors-letter-chinas-
technology-ambitions-and-their-limits/> Acessed: 18 May 2022.
Face recognition tech presents a surveillance issue and Amazon is running
amok. Available: <https://www.usatoday.com/story/opinion/2019/01/20/face-
recognition-surveillance-issue-amazon-google-microsoft-column/2581992002/>
Acessed: 18 May 2022.
Facial’s Recognition Growing Adoption Spurs Privacy Concerns. Available:
<https://www.wsj.com/articles/facial-recognition-goes-mainstream-drawing-
concerns-1542623401?fbclid=IwAR04m-ugMsr9rJgXxYFo5gPo7Ec-
qK0llosJoP0eb3vrdW5seJOKbIz3heA> Acessed: 18 May 2022.
Machine Learning Confronts the Elephant in the Room. Available:
<https://www.quantamagazine.org/machine-learning-confronts-the-elephant-
in-the-room-20180920/?
fbclid=IwAR3HT37tpLRfcwUz2xpCeif0GItSiAAnpwHOSCa7X4PHlXO2NoQJHH0O80s>
Acessed: 18 May 2022.
Never mind killer robots—here are six real AI dangers to watch out for in 2019.
Available: <https://www.technologyreview.com/s/612689/never-mind-killer-
robotshere-are-six-real-ai-dangers-to-watch-out-for-in-2019/?
utm_medium=tr_social&utm_campaign=site_visitor.unpaid.engagement&utm_source=facebook&fbclid=IwAR1lMASPAqy_sDazS24FcvYAub_6qjYU06BhRmWfHsLtQR0it2t0K1JN90M>
Acessed: 18 May 2022. 
PM vai testar reconhecimento facial em blocos de carnaval de Copacabana.
Available: