02/01/2021 - 16:24
Algoritmos sexistas? A pergunta pode parecer estranha. Codificados por humanos, os algoritmos usados pela inteligência artificial não são isentos de estereótipos. Porém, embora possam induzir preconceitos sexistas ou racistas, também podem ser usados para promover a causa da igualdade de gênero. É isso que Aude Bernheim e Flora Vincent demonstram em seu livro L’Intelligence artificielle, pas sans elles! (“Inteligência artificial, não sem mulheres!”).
Como vocês se interessaram pela questão de gênero em inteligência artificial (IA)?
Aude Bernheim: Originariamente, nosso pensamento se concentrava nas ligações entre igualdade de gênero e ciência. Em 2013, fundamos a associação WAX Science ou WAX (What About Xperiencing Science), para examinar como a falta de diversidade de gênero nas equipes de pesquisa científica pode afetar potencialmente os produtos da ciência e da tecnologia. Nosso trabalho em IA surge dessa reflexão.
- Algoritmo consegue detectar câncer de próstata melhor que patologistas
- Algoritmo identifica autoria real em músicas de Lennon e McCartney
Na verdade, não ficamos realmente surpresas em encontrar preconceitos de gênero nessas tecnologias, porque elas existem em muitos outros campos. Não havia razão para a IA escapar deles. Mas as consequências são inúmeras e vão além das questões usuais de igualdade profissional ou salários. Os estereótipos contidos nos algoritmos podem ter um impacto negativo na forma como os pedidos de emprego são analisados – excluindo mulheres de cargos técnicos –, em propostas salariais e até em diagnósticos médicos.
Flora Vincent: Falta diversidade às equipes científicas – o fenômeno é bem conhecido. O que não é tão conhecido é que isso tem consequências sobre como a pesquisa é desenvolvida e quais assuntos são priorizados. Uma historiadora da ciência americana, Londa Schiebinger, tem trabalhado nesse tópico recentemente. Ela mostra que quanto mais mulheres há em uma equipe, mais provável é que a questão de gênero seja levada em consideração no próprio estudo.
Existem muitos exemplos dessa discriminação na pesquisa. Um exemplo é que as drogas são testadas mais em ratos machos porque têm menos hormônios e, portanto, é considerado mais fácil medir os efeitos colaterais. Outro exemplo: para testes de colisão, são usados manequins com padrão de 1,70 metro e 70 quilos, modelados no tamanho médio e construção de um homem. Com isso, o cinto de segurança não leva em consideração determinadas situações, como gestantes, por exemplo.
A ciência da computação foi uma disciplina predominantemente dominada por homens desde o início?
Bernheim: Não, nem sempre foi assim. No início do século 20, a ciência da computação era uma disciplina que exigia muitos cálculos tediosos. Na época, isso geralmente era feito por mulheres. Quando os primeiros computadores surgiram, as mulheres estavam na liderança. O trabalho não era visto como prestigioso na época. Em 1984, 37% dos empregados na indústria de computadores nos Estados Unidos eram mulheres. Em comparação, na França em 2018, apenas 10% dos alunos nos cursos de ciência da computação eram mulheres; estima-se que as mulheres sejam apenas 12% dos alunos do setor de IA.
De fato, uma mudança significativa ocorreu na década de 1980, com o surgimento do computador pessoal (PC). A partir de então, a tecnologia da computação adquiriu importância econômica sem precedentes. A dimensão lúdica dos computadores também surgiu naqueles anos, desenvolvendo um imaginário cultural muito masculino em torno da figura do geek. Essa dupla tendência foi acompanhada pela marginalização das mulheres. Isso mostra que a afinidade dos meninos com o computador não é natural, mas é, antes de tudo, cultural e construída.
Pode-se pensar que algoritmos são neutros por natureza. Até que ponto eles contribuem para reproduzir o preconceito de gênero?
Bernheim: Alguns denunciantes perceberam rapidamente que os algoritmos eram tendenciosos. Eles descobriram, por exemplo, que o software de tradução [para o francês, que tem substantivos masculinos e femininos] tendia a dar um gênero às profissões, traduzindo o inglês “o médico” para “le docteur” (masculino) e “a enfermeira” para “ l’infirmière” (feminino). Quando os assistentes de voz apareceram – seja Alexa, Siri ou Cortana –, todos eles tinham nomes femininos e respondiam às ordens de forma bastante submissa, mesmo quando eram insultados.
Em 2016, Joy Buolamwini, uma pesquisadora afro-americana do Massachusetts Institute of Technology (MIT), interessou-se por algoritmos de reconhecimento facial. Seu trabalho mostrou que eles [a IA] foram treinados em bancos de dados que continham principalmente fotos de homens brancos. Como resultado, eles foram muito menos eficazes em [reconhecer] mulheres negras ou homens asiáticos do que homens brancos. Você pode imaginar que, se ela fizesse parte da equipe de desenvolvimento desses algoritmos, a situação teria sido diferente.
Vincent: Codificar um algoritmo é como escrever um texto. Há uma certa subjetividade que se manifesta na escolha das palavras, nas voltas das frases – mesmo que tenhamos a impressão de que estamos escrevendo um texto muito factual. Para identificar os vieses, nossa abordagem consistiu em dissecar as diferentes etapas do que chamamos de “contágio sexista”. Isso porque não existe uma única causa que cria um algoritmo enviesado, mas sim o resultado de uma cadeia de causalidade que intervém nas diferentes etapas de sua construção. Com efeito, se as pessoas que codificam, testam, controlam e usam um algoritmo não estão cientes desses vieses em potencial, elas os reproduzem. Na grande maioria dos casos, não há intenção deliberada de discriminar. Na maioria das vezes, simplesmente reproduzimos estereótipos inconscientes forjados ao longo de nossas vidas e educação.
Existe uma consciência do preconceito em certos produtos de IA hoje?
Bernheim: A IA é um campo onde tudo está evoluindo muito rapidamente – a tecnologia em si, mas também o pensamento sobre seu uso. Em comparação com outras disciplinas, o problema da discriminação surgiu muito cedo. Quase três anos após o início da febre dos algoritmos, os denunciantes começaram a chamar a atenção para o tratamento diferenciado de certos algoritmos. Esse já é um assunto presente por direito próprio na comunidade científica. Ele alimenta muitos debates e tem levado a trabalhos de pesquisa sobre a detecção de vieses e as implicações de algoritmos de um ponto de vista ético, matemático e da ciência da computação. Essa consciência também se refletiu recentemente na grande mídia. Nem todos os problemas foram resolvidos, mas foram identificados e, uma vez que o foram, as soluções podem ser implementadas.
Como os algoritmos podem se tornar mais igualitários?
Bernheim: Para começar, devemos atuar no nível das bases de dados, para que sejam representativos da população em toda a sua diversidade. Algumas empresas já fazem isso e estão trabalhando em bancos de dados que levam em conta diferenças de gênero, nacionalidade ou morfologia. Como resultado do trabalho publicado sobre as deficiências do software de reconhecimento facial, algumas empresas retreinaram seus algoritmos para serem mais inclusivos. Também surgiram empresas que se especializam no desenvolvimento de ferramentas para avaliar algoritmos e determinar se eles são tendenciosos.
Vincent: Ao mesmo tempo, na comunidade científica e de pesquisa, tem havido reflexão sobre como implementar uma avaliação mais independente e sobre a necessidade de transparência algorítmica. Alguns especialistas, como Buolamwini, defendem o desenvolvimento e a generalização de um código inclusivo, assim como existe para a escrita inclusiva.
Entre as iniciativas existentes, devemos também mencionar o trabalho desenvolvido pelo coletivo Data for Good, que pensa em formas de fazer com que os algoritmos sirvam ao interesse geral. Esse coletivo elaborou uma carta ética chamada Juramento Hipocrático para Cientistas de Dados, estabelecendo uma lista de parâmetros muito concretos a serem verificados antes de se implementar um algoritmo, para garantir que não seja discriminatório. É importante apoiar esse tipo de iniciativa.
A IA poderia eventualmente se tornar um exemplo de como os preconceitos podem ser combatidos?
Bernheim: Em certo sentido, sim, na medida em que nos conscientizamos rapidamente dos preconceitos que essas novas tecnologias poderiam induzir. A IA está em processo de revolucionar nossas sociedades, então também pode fazer as coisas evoluírem de maneira positiva. A IA torna possível gerenciar e analisar grandes quantidades de dados. Isso permitiu ao Google, em particular, criar um algoritmo em 2016 para quantificar o tempo de fala das mulheres nas principais produções cinematográficas americanas e mostrar sua sub-representação. Ao mesmo tempo, as equipes de desenvolvimento de algoritmos também precisam se tornar mais equilibradas em termos de gênero. Hoje, entretanto, por uma série de razões – incluindo a autocensura de meninas quando se trata de campos científicos e o sexismo que reina nas empresas de alta tecnologia – muito poucas mulheres estudam ciência da computação. Levará algum tempo para reverter essa tendência.
Vincent: Claro, os algoritmos precisam ser educados, mas alterar algumas linhas de código não será suficiente para resolver os problemas. Devemos ter em mente que não haverá vontade de codificar a igualdade se as equipes envolvidas não incluírem mulheres.
MAIS INFORMAÇÕES
Democratizing AI in Africa, The Unesco Courier, julho-setembro de 2018.
