Fichamento do texto "A relevância dos algoritmos"¹ de Tarlenton Gillespie.

Resumo

Algoritmos (particularmente aqueles utilizados plos mecanismos de busca, plataformas de mídia scial, sistemas de recomendação e bases de dados) exercem uma função crescentemente importante em selecionar qual informação deve ser considerada mais relevante para nós, uma característica crucial da nossa participação na vida pública. À medida que assumimos as ferramentas computacionais como nossa forma primária de expressão, sujeitamos discurso e conhecimento humanos às lógicas de procedimento que sustentam a computação. Prcisamos questionar os algoritmos como elementos chave de nosso sistema informacional e das formas culturais que emergem de suas sombras. Devemos ter especial atenção sobre onde e de que forma a introdução dos algoritmos nas práticas do conhcimento humano podem levar a ramificações polítcas. Este artigo oferece um mapa conceitual para fazer isso. Ele propõe uma análise sociológica que não concebe os algoritmos como algo abstrato ou façanha técnica, e sim sugere como revelar as escolhas humanas e institucionais que estão por trás de suas elaborações. O objetivo é verificar como os agoritmos são convocados, recrutados e negociados como parte de esforços coletivos para conhecer e se tornar conhecido.

Publicação original

Artigo publicado originalmente por Tarleton Gillespie sob o título “The relevance of algorithms”, no livro Media Technologies: Essays on Communication, Materiality, and Society (MIT Press, 2014). Traduzido por Amanda Jurno mediante autorização do autor e da editora. Revisão: Carlos d’Andréa

Algoritmos de relevância como mediadores

Os algoritmos projetados para calcular o que “está em alta”, o que é “tendência” ou o que é “mais discutido” nos oferecem uma camada superficial das conversas aparentemente sem fim que estão disponíveis. Juntos, eles não só nos ajudam a econtrar informações, mas nos fornecem meios para saber o que há para ser conhecido e como faz-lo; a participar dos discursos sociais e políticos e de nos familiarizarmos com os públicos dos quais participamos. Além disso, são hoje uma lógica cetral que controla os fluxos de informação dos quais dependemos, com o “poder de possibilitar e atribuir significados, gerenciando como a informação é pecebida pelos usuários, a ‘distribuição do sensível’” (LANGLOIS, 2013). (p. 97)

Algoritmo como procedimento codificado x software. Computadores como máquinas algorítmicas

Os algoritmos não são necessariamente sotwares: em seu sentido mais amplo, são procedmentos codificados que, com base em cálculos específicos, transformam dados em resultados desejados. Os procedimentos dão nome tanto ao problema quanto aos passos pelos quais ele precsa passar para ser resolvido. Podemos considerar como algoritmos, por exemplo, instruções de navgação ou fórmulas matemáticas usadas para prever o movimento de um corpo celestial. “Algoritmos fzem coisas e sua sintaxe incorpora uma estrutura de comando para permitir que isso aconteça” (GFFEY, 2008, p. 17). Podemos pensar, portanto, que os computadores são fundamentalmente máquinas algorítmicas - projetadas para armazenar e ler ddos, aplicar procedimentos matemáticos de forma controlada e oferecer novas informações como resultado. Porém tratam-se de procedimentos que poderiam ser feitos manualmente - e, de fato, eram feitos (LIGHT, 1999). (p. 97)

Algoritmos de relevância pública

Esses algoritmos [que selecionam o que é mais relevante a partir de um corpus de dados], os quais chamaremos de agoritmos de relevância pública, estão - através dos mesmos procedimentos matemáticos - produzindo e certificando conhecimento. A avaliação algorítmca da informação, assim, representa uma lógica de conhecimento particular baseada em suposições específicas sobre o que é o conhecimento e como alguém deveria identificar seus componentes mais relevantes. O fato de estarmos recorrendo a algorimos para identificar o que precisamos saber é tão marcante quanto termos recorrido aos especialitas credenciados, ao método científico, ao senso comum ou à palavra de Deus. (p. 97)

Seis dimensões do valor político dos algorítmos de relevância pública

1. Padrões de inclusão: as escolhas por trás do que gera um índice, em primeiro lugar; o que é excluído; e como os dados são preprados para o algoritmo.
2. Ciclos de antecipação: as implicações das tentativas dos provedores dos algoritmos de conhecer a fundo e prever completmente os seus usuários; e como importam as conclusões às quais eles chegam .
3. Avaliação de relevância: os critérios pelos quais os algoritmos determinam o que é rlevante; como esses critérios nos são ocutados; e como eles implementam escolhas políticas acerca de um conhecimento cosiderado apropriado e legítimo.
4. A promessa da objetividade algorítmica: a maneira como o caráter técnico do algritmo é situada como garantia de impacialidade; e como essa alegação é mantida diante de controvérsias.
5. Entrelaçamento com a prática: como os usuários reconfiguram suas práticas para se adequar aos algoritmos dos quais dpendem; e como podem transformar algritmos em espaços de disputa política, às vezes até mesmo para questionar as polítcas do próprio algoritmo.
6. A produção de públicos calculados: como a apresentação algorítmica dos públicos, para eles mesmos, molda uma noção de si dese público; e quem está em melhor posição para se beneficiar desse conhecimento.

(p. 98)

Desvelar instituições e humanos por trás dos algoritmos como proposta alternativa ao determinismo tecnológico (?)

Pode ser sedutoramente fácil interpretar tudo isso de forma errada. Na tentativa de dizer algo relevante sobre como os algoritmos transformam o discurso público, devemos resistir firmemente à tentação de tratar a tecnologia como condutora nas explicações. Ainda que recentes estudos socilógicos sobre a internet tenham se dedicado a defazer um determinismo tecnológico simplista que contaminou trabalhos anteriores, este determinimo continua a ser uma instância analítica atraente. Uma análise sociológica não deve conceber os agoritmos como realizações técnicas abstratas, mas desvendar as escolhas humanas e institucionais que estão por trás desses mecanismos frios. Supeito que uma abordagem mais frutífera seria nos voltarmos tanto para a sociologia do conhecimento, quanto para a sociologia da tecnologia - para obsevarmos como essas ferramentas são convocadas, alistadas como parte de, e negociadas em torno de esforços coletivos para conhecer e se tornar conhecido. Isso pode nos ajudar a revelar que algoritmos aparentemente sólidos são, de fato, realizações frágeis. Também deve nos lembrar que os algoritmos são hoje tecnologias de comunicação; assim como as tecnologias de transmissão e de publicação, eles são hoje “instrumentos científicos da sociedade em geral” (GITELMAN, 2006, p. 5) e estão envolvidos e influenciando as maneiras pelas quais ratificamos o conhecimento para a vida cívica, porém de maneiras mais “protocológicas” (GALLOWAY, 2004) - ou oganizadas computacionalmente para dizer de outro jeito - do que qualquer outro meio anteriormente. (p. 98)

Centralidade do banco de dados para [alguns] algoritmos

Os algoritmos são máquinas inertes e sem sentido até serem combinados com bancos de dados para com eles funcionar. Uma pesquisa sociológica sobre um algoritmo deve sempre levar em consideração os bancos de dados aos quais ele está ligado; não fazê-lo seria o mesmo que estudar o que foi dito em um protesto público, sem perceber que alguns dos protestantes foram barrados na entrada do parque. (p. 98-9)

No entanto, podemos tratar os dois como analiticamente distintos: antes que os resultados possam ser fornecidos algoritmicamente, a informação deve ser coletada, preparada para o algoritmo e, às vezes, excluída ou rebaixada. (p. 99)

Rastros digitias -> bases de dados (Google)

Transformar tais rastros em bases de dados envolve um conjunto complexo de técnicas de informação (STALDER, MAYER, 2009): o Google, por exemplo, rastreia os sites de indexação da web e seus metadados. Ele digitaliza as informações do mundo real, de acervos de bibliotecas a imagens de satélite ou registros fotográficos de ruas da cidade; convida os usuários a fornecerem seus detalhes pessoais e sociais como parte de seu perfil no Google+; mantém registros detalhados de cada pesquisa realizada e cada resultado clicado; adiciona informações com base na localização de cada usuário; armazena os rastros das experiências de navegação na web reunidas via suas redes massivas de publicidade. (p. 99)

Dado bruto como oxímoro, automatismo e pré-processamento

"Dado bruto é um oxímoro” (GITELMAN, JACKSON, 2013). Os dados já vêm dissecados e persistentemente bagunçados. Contudo, existe uma ordem premeditada necessária para que os algoritmos possam funcionar com esses dados. Mais do que qualquer coisa, os algoritmos são projetados e apreciados para serem funcionalmente automáticos; para, quando acionados, agirem sem qualquer intervenção ou supervisão regular de humanos (WINNER, 1977). Isso significa que as informações dos banco de dados devem ser transformadas e institucionalizadas de tal forma que os algoritmos possam agir sobre elas automaticamente. Os dados devem ser “imaginados e enunciados em contraste com a continuidade dos fenômenos” (GITELMAN, JACKSON, 2013). (p. 99)

Flexibilização nas bases de dados relacionais > ontologia relacional

Nas primeiras arquiteturas de banco de dados, a informação era organizada em hierarquias rigorosas e, como foi revelado, inflexíveis. Com o desenvolvimento das arquiteturas relacionais e orientadas aos objetos, as informações puderam ser organizadas de maneira mais flexíveis, onde é possível associar os bits de dados de várias formas uns com os outros, as categorias podem mudar ao longo do tempo e os dados podem ser explorados sem ser preciso navegar ou mesmo entender a estrutura hierárquica na qual eles estão arquivados. As implicações sociológicas dos designs dos bancos de dados têm sido amplamente ignoradas; mas é preciso ter em mente que os estilos das bases de dados criaram políticas, além de apenas criar ferramentas informacionais essenciais para o funcionamento dos algoritmos. Como Rieder (2012) observa, com a ampla aceitação dos bancos de dados relacionais surge uma “ontologia relacional” que entende os dados como atomizados, “objetos regulares, uniformes e apenas vagamente conectados que podem ser requisitados de maneiras potencialmente ilimitadas quando recuperadas”, deslocando assim o poder expressivo do design estrutural do banco de dados para a busca. (p. 100)

Tageamento de livros "gay-friendly" como adultos pela Amazon

Uma vez instituída, uma categoria desenha uma demarcação que será tratada com reverência por um futuro algoritmo. Como exemplo, trazemos o incidente #amazonfail. Em 2009, mais de 157 mil livros gay-friendly1 desapareceram instantaneamente das listas de vendas do site da Amazon porque foram acidentalmente categorizados como “adultos”. Naturalmente, sistemas informacionais complexos como esses estão propensos a erros. Mas esse erro em particular também nos revelou que o algoritmo da Amazon, que calcula a “lista dos livros mais vendidos”, é instruído a ignorar livros categorizados como adultos. Ou seja, mesmo na ausência de erros, qualquer que seja o critério usado pela Amazon para determinar o que é considerado “adulto”, ou não, está sendo aplicado e reificado - e se torna aparente apenas na inexplicável ausência de alguns livros da lista e na presença de outros. (p. 100)

Uso malicioso do robots.txt por governos e censura/rebaixamento de conteúdos

Os sites podem, eles próprios, se recusarem a ser indexados pelos coletores de dados (como ferramentas de busca, por exemplo). Elmer (2009) revela que o robot.txt, um trecho de código que previne uma página ou site de ser indexado por ferramentas de busca, apesar de ter sido projetado inicialmente como uma ferramenta para preservar a privacidade dos criadores individuais, tem sido usado por instituições governamentais como uma forma alternativa de “reter” documentos públicos da apreciação do público. Mas além da auto-exclusão, algumas informações coletadas inicialmente são subsequentemente removidas antes mesmo que um algoritmo chegue até elas. Apesar de os serviços de informação em larga-escala se gabarem por serem abrangentes, esses sites são, e sempre devem ser, censores de informações também. Dados indexados excluem spams e vírus; vigiam violação de direitos autorais e pornografia; e retiram o que é obsceno, condenável ou politicamente controverso das bases de dados (Gillespie no prelo). (p. 100-1)

Conteúdos ofensivos podem ser simplesmente removidos dos dados indexados, ou uma conta pode ser suspensa, antes mesmo de chegar ao conhecimento de outro usuário. Contudo, junto com o algoritmo, é possível lidar com conteúdos problemáticos de formas mais sutis. O YouTube “rebaixa algoritmicamente” vídeos provocantes para que não apareçam nas listas dos mais assistidos ou na página inicial gerada para novos usuários. O Twitter não censura conteúdos profanos de tuítes públicos, mas ele os remove da avaliação algorítmica que determina quais termos figuram nos “Trending (p. 101)

Economia de propagandas

Algoritmos de busca determinam o que oferecer com base nas informações do usuário. Mas a maioria das plataformas hoje faz do seu negócio saber mais, muito mais, sobre o usuário do que apenas a pesquisa que ele acabou de fazer. Os sites esperam ser capazes de antecipar o usuário quando o algoritmo é acionado, o que requer tanto o conhecimento coletado naquele momento, quanto o conhecimento já acumulado sobre o usuário e sobre outros usuários considerados parecidos com ele em termos estatísticos e demográficos (BEER, 2009) - unindo o que Stalder e Mayer (2009) chamam de “segundo índice”. Se podemos dizer que as emissoras de TV e Rádio forneciam não só conteúdo para as audiências, mas também audiências para os anunciantes (SMYTHE, 2001), podemos dizer também que os provedores digitais não apenas fornecem informações para os usuários, mas usuários para seus algoritmos que são feitos e refeitos a cada momento de uso, porque cada clique e cada busca incrementam a ferramenta. (p. 101)

Redução estereotípica suficiente e modulação

Mas os algoritmos não só fazem previsões exaustivas sobre os usuários; às vezes, eles fazem aproximações suficientes. Talvez tão importante quanto a constante vigilância dos usuários são as conclusões que os provedores querem elaborar com base em relativamente pouca informação sobre eles. Hunch.com, um serviço de recomendação de conteúdo, gabou-se por conseguir saber as preferências de um usuário com 80-85 por cento de precisão, com base nas respostas a apenas cinco perguntas. Apesar de reduzir radicalmente a complexidade de uma pessoa a cinco pontos em um gráfico, o que é importante é que esta é uma precisão suficiente para os seus propósitos 2 . Dado que tais sites se sentem confortáveis em oferecer caricaturas dos usuários, as questões que parecem nos classificar de forma suficiente para eles, particularmente em relação às nossas preferências enquanto consumidores, tendem a ganhar relevância como formas de medir o público. E, em certa medida, nós somos convidados a nos formalizar nessas categorias. Diante desses provedores, somos encorajados a escolher nos menus que eles oferecem uma opção para que sejamos corretamente antecipados pelo sistema e para que ele nos ofereça as informações certas, as recomendações certas, as pessoas certas. (p. 102)

Sobre a não-efetividade analítica de considerar um algoritmo de relevância como enviesado

Acusar um algoritmo de ser enviesado implica considerar que exista um julgamento imparcial de relevância, o qual a ferramenta estaria falhando em alcançar. Uma vez que tal medida não está disponível, as disputas sobre as avaliações algorítmicas não têm um terreno sólido para se basear. (p. 104)

Twitter x reddit sobre disponibilizar publicamente os critérios de ordenamento

Um provedor de informações como o Twitter não pode ser muito mais explícito ou preciso quanto ao funcionamento de seus algoritmos. Fazê-lo seria dar meios para que seus concorrentes duplicassem e superassem seu serviço facilmente, além de exigir uma explicação mais técnica do que a maioria dos usuários está preparada para receber. Isso prejudicaria a capacidade de mudança dos critérios conforme necessário, mas acima de tudo, forneceria um roteiro para quem quisesse “burlar o sistema” e colocar seus sites no topo dos resultados de pesquisa ou fazer suas hashtags aparecerem na lista de “Trendings”. Embora alguns sites de recomendações colaborativas, como o Reddit, tenham tornado públicos seus algoritmos de classificação das histórias e comentários dos usuários, eles precisam estar constantemente procurando e corrigindo casos de “desvaloração” organizada pelos usuários, e essas táticas não podem ser tornadas públicas. Com poucas exceções, a tendência é mesmo que os provedores sejam pouco claros4 . (p. 104)

Natureza complexa e heterogênea (misturando propaganda e conteúdo) no feed do Facebook

Por exemplo, as primeiras críticas se preocupavam se as ferramentas de busca iriam oferecer propagandas como links ou conteúdo em destaque, apresentadas como resultado de cálculos algorítmicos. A rápida e clara rejeição pública a essa manobra demonstrou quão forte é nossa crença nesses algoritmos: os usuários não queriam que o conteúdo que os provedores pagassem para serem exibidos fosse misturado com o conteúdo selecionado algoritmicamente. Mas a preocupação agora é multidimensional: a paisagem do “Feed de Notícias” do Facebook, por exemplo, não pode mais ser descrita como dois territórios distintos, um social e um comercial. Em vez disso, entrelaça os resultados dos cálculos algorítmicos (quais atualizações de status e outras atividades dos seus amigos devem ser listadas no Feed, quais links serão recomendados para esse usuário, quais amigos estão ativos no site naquele momento), elementos estruturais (ferramentas para contribuir com uma atualização de status ou para comentar em um elemento informativo, links para grupos e páginas) e elementos colocados ali com base em relações de patrocínio (banners publicitários, aplicativos de sites de terceiros). Para mapear este terreno complexo, é necessário compreender a fundo as relações econômicas e os pressupostos sociais que ele representa. (p. 105)

Vieses nos resultados podem reforçar resultados populares ou de língua inglesa, não sendo o privilégio a uma empresa comercial o único problema

Por fim, devemos considerar se os critérios avaliativos do algoritmo são estruturados por princípios políticos ou organizacionais específicos que têm eles mesmos ramificações políticas. Não é apenas se um algoritmo pode ser parcial para este ou aquele fornecedor, ou pode favorecer seus próprios interesses comerciais sobre outros. É uma questão sobre a importância das premissas filosóficas sobre o conhecimento relevante nas quais o algoritmo se baseia. Alguns estudos que analisaram vieses na seleção das ferramentas de busca (em ordem de publicação, INTRONA; NISSENBAUM, 2000, HALAVAIS, 2008, ROGERS, 2009, GRANKA, 2010) observaram algumas tendências estruturais em retornar como resultado o que já era popular, sites de língua inglesa e fornecedores de informações comerciais. Ao debater sobre o que significaria exigir neutralidade nos resultados de pesquisa, os estudiosos jurídicos (GRIMMELMANN, 2010, PASQUALE; BRACHA, 2008) se referiam a muito mais do que oferecer dicas sobre parceiros comerciais nos resultados. Os critérios que os algoritmos de informação pública levam em consideração são miríades; cada um está equipado com um patamar que define o que será empurrado para os resultados, como um resultado será posicionado acima de outro e assim por diante. (p. 105)

Reificação de uma lógica no código dos algoritmos

Dessa forma, as avaliações realizadas pelos algoritmos dependem sempre de pressupostos inscritos nos seus códigos que versam sobre o que e como importa ser identificado por eles. Quando uma simples ferramenta de pesquisa conta o número de vezes que um termo pesquisado aparece nas páginas da web indexadas, ela está reificando uma lógica particular que assume que as páginas que incluem o termo pesquisado provavelmente são relevantes para alguém interessado neste termo. (p. 105)

PageRank da Google

Quando o Google desenvolveu o PageRank, que determina o valor de uma determinada página com base no número de links em referência a essa página, ele construiu uma lógica diferente: uma página linkada em vários lugares na web, em sites considerados de alta qualidade, é vista como sendo “ratificada” por outros usuários e, portanto, têm maior probabilidade de ser relevante para este usuário também. Para Finkelstein, ao preferir links advindos de sites vistos como sendo de alta qualidade, o Google mudou de uma abordagem mais populista para uma “democracia de acionistas”. (p. 105-6)

Existe um paradoxo fundamental na articulação dos algoritmos. A objetividade algorítmica é uma declaração importante para um provedor, particularmente de algoritmos que fornecem informações vitais e voláteis para o consumo público. Articular o algoritmo como uma intervenção claramente técnica ajuda um provedor de informações a responder acusações de viés, erro e manipulação dos resultados. Ao mesmo tempo, como pode ser visto com o PageRank do Google, existe um valor sociopolítico no destaque do populismo dos critérios que o algoritmo usa. Afirmar que um algoritmo de um determinado site é uma representação democrática da opinião coletiva em toda a web lhe confere autoridade. E há um valor comercial na alegação de que o algoritmo retorna resultados “melhores” do que os dos seus concorrentes, o que coloca a satisfação do consumidor acima da noção de exatidão (VAN COUVERING, 2007). Ao examinar a articulação de um algoritmo, devemos prestar atenção especial à forma como esta tensão, entre neutralidade tecnicamente assegurada e o sabor social da avaliação que está sendo feita, é gerenciada - e, às vezes, como ela se rompe. (p. 109)

Natureza mutável/mutante e múltipla dos algoritmos

Embora grandes atualizações possam acontecer apenas ocasionalmente, os algoritmos estão regularmente sendo “ajustados”. As mudanças podem ocorrer sem que a interface com o algoritmo mude minimamente: o “Feed de Notícias” e a barra de pesquisa podem parecer os mesmos de ontem, ainda que as avaliações que acontecem por baixo deles tenham sido completamente refeitas. A metáfora da caixa-preta não nos ajuda nesse caso, já que o funcionamento do algoritmo é obscuro e maleável, “provavelmente tão dinâmico que uma fotografia instantânea nos daria poucas chances de acessar seus vieses” (PASQUALE, 2009). Na verdade, o que nós nos referimos enquanto um algoritmo muitas vezes não é apenas um, mas são muitos algoritmos. Ferramentas de busca como o Google participam regularmente de testes “A/B” , apresentando rankings diferentes para diferentes subconjuntos de usuários para obter dados sobre a velocidade e satisfação dos clientes em tempo real. As preferências encontradas nos resultados do teste são, então, incorporadas aos ajustes da ferramenta em uma atualização posterior. (p. 106)

Aparente objetividade dos algoritmos

Mais do que meras ferramentas, os algoritmos também são estabilizadores da confiança, garantias práticas e simbólicas de que suas avaliações são justas e precisas, livres de subjetividade, erro ou tentativas de influência. Mas, embora os algoritmos possam parecer automáticos e intocáveis pelas intervenções de seus provedores, esta é uma ideia cuidadosamente elaborada. “As ferramentas de busca se gabam por serem automatizadas, exceto quando não o são” (GRIMMELMANN, 2008, p. 950). Na verdade, nenhum serviço de informações pode ser completamente isento de interferência humana ao entregar informações: embora um algoritmo possa avaliar qualquer site como o mais relevante para sua busca, esse resultado não aparecerá se for pornografia infantil, não aparecerá na China se for um discurso político dissidente, e não aparecerá na França se promover o nazismo. No entanto, é muito importante para os provedores desses algoritmos que eles pareçam ser isentos de interferência humana. A legitimidade desses mecanismos deve ser performada junto à disponibilização da própria informação. (p. 106-7)

Em grande parte, cabe ao provedor descrever seu algoritmo como tendo uma forma particular; tendo, portanto, um certo conjunto de valores; e, assim, conferindo-lhe um certo tipo de legitimidade. Isso inclui caracterizar cuidadosamente a ferramenta e o seu valor para várias audiências, às vezes de várias formas diferentes: um algoritmo pode se defendido como uma ferramenta de avaliação imparcial para os críticos dos seus resultados e, ao mesmo tempo, ser prometido como uma ferramenta para a promoção seletiva e para anunciantes em potencial (GILLESPIE, 2010). (p. 107)5

Trabalho discursivo, inclusive por meio de bastidores performados, para criação da legitimidade do algoritmo

Esta articulação se dá primeiro na apresentação da ferramenta, na sua implantação dentro de um serviço de informação mais amplo. Chamá-los de “resultados”, “melhores”, “principais histórias” ou “tendências” diz não só sobre o que o algoritmo está medindo, mas também sobre o que deve ser entendido como medida. Uma parte igualmente importante deste trabalho discursivo está na descrição de como o algoritmo funciona. O que pode parecer uma explicação clara sobre que acontece por trás dos bastidores pode não ser realmente uma visada do verdadeiro processo que ali se dá, mas de “bastidores performados” (HILGARTNER, 2000) e cuidadosamente elaborados a fim de legitimar ainda mais esse processo e seus resultados. A descrição do sistema PageRank do Google, o elemento mais antigo do seu complexo algoritmo de busca, foi publicada primeiro em um artigo científico (já sendo essa uma entrega elaborada sobre seus funcionamentos matemáticos), mas foi mitificada em seguida - como a característica definidora da ferramenta, como o elemento central que fez o Google se tornar destaque frente a seus concorrentes e como uma lógica computacional fundamentalmente democrática - mesmo quando o algoritmo estava sendo redesenhado para considerar centenas de outros critérios no processo de busca. (p. 107-8)

Google sobre a neutralidade algorítmica

Acima de qualquer coisa, os provedores dos algoritmos de informações devem assegurar que seus algoritmos são imparciais. A performance da objetividade algorítmica tornou-se fundamental para a manutenção dessas ferramentas como mediadoras legítimas do conhecimento relevante. Nenhum provedor tem sido mais inflexível sobre a neutralidade do seu algoritmo quanto o Google, que responde regularmente às solicitações de alteração nos resultados de busca reivindicando que o algoritmo não deve ser adulterado. A empresa celebremente se retirou completamente do mercado chinês, em 2010, ao invés de censurar seus resultados, embora tenha consentido com as regras da China antes, e pode ter se retirado para não ter de admitir que estava perdendo para as concorrentes chinesas. Mesmo apesar dessa postura, o Google alterou seus resultados quando surgiram reclamações sobre uma imagem de Michelle Obama, editada de forma racista, aparecendo no topo dos resultados de busca de Imagens. A empresa também fornece um mecanismo de “busca segura” para não exibir palavrões e imagens sexuais para menores, e se recusa a auto-completar pesquisas que indiquem serviços de troca de arquivos em formato torrent. No entanto, o Google afirma regularmente que não altera seus índices, nem manipula seus resultados. (p. 108)

A promessa da objetividade algorítmica também foi nitidamente incorporada nas práticas de trabalho dos provedores de algoritmos, definindo o que se constitui enquanto função e propósito de um serviço de informações. Quando o Google inclui no seu manifesto de “Dez coisas que sabemos ser verdade” que “Nossos usuários confiam em nossa objetividade e nenhum ganho de curto prazo poderia justificar a violação dessa confiança”, não se trata nem de artimanha, nem de um “Maria-vai-com-as-outras6 ” corporativo. É uma compreensão profundamente enraizada do caráter público do serviço de informação do Google que influencia e legitima muitos dos seus projetos técnicos e comerciais, e ajuda a obscurecer a confusa realidade sobre o serviço que a empresa presta. (p. 109)

Objetividade algorítmica x jornalística

Objetividades jornalísticas e algorítmicas não são a mesma, de forma alguma. A objetividade jornalística depende de uma promessa institucional de adequada diligência, que é incorporada e transmitida através de um conjunto de normas que os jornalistas aprendem em treinamento e no trabalho. As escolhas feitas pelos jornalistas representam uma competência apoiada em um compromisso profundamente infundido, filosófico e profissional para deixar de lado seus próprios preconceitos e convicções políticas. Já a promessa do algoritmo se baseia muito menos em normas institucionais e competências adquiridas, e mais em uma promessa tecnicamente influenciada de neutralidade mecânica. Quaisquer que sejam as escolhas feitas, elas são apresentadas como sendo tanto livres de intervenção das mãos humanas, quanto submersas no frio funcionamento da máquina. (p. 108-9)

Entrelaçamento prático pessoas-algoritmos

Apesar de poderem ser estudados como ferramentas computacionais abstratas, os algoritmos são construídos para serem incorporados às práticas do mundo, que produzem as informações que eles processam, e ao mundo vivido pelos seus usuários (COULDRY, 2012). Isso se dá principalmente quando o algoritmo é o instrumento de um negócio que tem como produto a informação que entrega (ou as propagandas a que se associa). Se os usuários falharem ou se recusarem a se encaixar nas suas práticas e a conceder significado a elas, o algoritmo irá falhar. Isso significa que não devemos considerar seus “efeitos” nas pessoas, mas um “entrelaçamento” multidimensional entre algoritmos postos em prática e as táticas dos usuários que fazem face a eles. Claro, essa relação é um alvo em movimento, porque os algoritmos mudam, assim como as populações de usuários e as atividades com as quais se deparam. Ainda assim, isso não deveria significar que não exista relação entre eles. À medida que esses algoritmos se abrigam na vida das pessoas e nas suas rotinas informacionais, os usuários moldam e rearticulam os algoritmos com os quais se deparam. Os algoritmos também afetam a maneira que as pessoas procuram informações, como elas percebem e pensam sobre os horizontes de conhecimento, e como elas se compreendem no e pelo discurso público. (p. 110)

Ciclo recursivo de cálculos

É importante conceber este entrelaçamento não como uma influência unidirecional, mas como um ciclo recursivo entre os cálculos do algoritmo e os “cálculos” das pessoas. O algoritmo que ajuda os usuários a navegarem pelas fotos do Flickr é construído no arquivo de fotos postadas, o que significa que ele é projetado para compreender e refletir as escolhas feitas pelos fotógrafos. O que as pessoas fazem e não fotografam já é um tipo de cálculo avaliativo, embora seja histórico, multivalente, contingente e sociologicamente fundamentado. Mas estes não eram os únicos impulsionadores do design do Flickr; a sensibilidade para as práticas fotográficas teve que competir com custos, eficiência técnica, obrigações legais e imperativos comerciais. Além disso, a população dos usuários do Flickr e os tipos de fotos que publicava mudaram à medida que o site cresceu em popularidade; quando foi forçado a competir com o Facebook; quando introduziu preços diferenciados; quando foi comprado pelo Yahoo, e assim por diante. (p. 110)

Vários usuários do Flickr postam fotos com o propósito claro de que elas sejam vistas: alguns são fotógrafos profissionais procurando emprego, alguns são pessoas procurando comunidades de amadores semelhantes a elas, outros estão simplesmente orgulhosos do seu trabalho. Assim, tal como o algoritmo precisa ser sensível aos fotógrafos, eles têm interesse em serem sensíveis para o algoritmo, sabendo que aparecer como resultado das buscas certas pode colocar suas fotografias diante das pessoas certas. Assim como a ênfase de Hollywood em gêneros específicos convida os roteiristas a escrever de maneira genérica 7 , o algoritmo do Flickr pode induzir reorientações sutis nas práticas dos fotógrafos em direção à sua lógica construída, ou seja, induzir os fotógrafos a buscar fotografar de modo a aderir a certas categorias emergentes ou a orientar sua escolha de tema e composição em direção a coisas que o algoritmo parece privilegiar. “Deixamos rastros não sobre a forma como fomos, mas sobre uma negociação tácita entre nós e os nossos auditores imaginados” (BOWKER, 2006, p. 6-7). (p. 110)

Reorganização tácita das atividades algoritmicamente mediadas

Essa negociação tácita consiste, em primeiro lugar, na reorientação cotidiana e estratégica das práticas que muitos usuários realizam, perante uma ferramenta que eles sabem que pode ampliar seus esforços. Há, para os produtores de informações, um estímulo poderoso e compreensível para tornar seu conteúdo, e eles próprios, identificáveis para um algoritmo. Toda uma indústria, de otimização para mecanismos de busca (SEO - Search Engine Optimization, em inglês), promete impulsionar os sites para o topo dos resultados de pesquisa. Mas podemos pensar na otimização (deliberada, profissional) como apenas a linha de frente de um processo muito mais variado, orgânico e complexo pelo qual produtores de conteúdo de todos os tipos se orientam perante os algoritmos. Quando usamos hashtags em nossos tuítes - uma inovação criada pelos usuários e adotada posteriormente pelo Twitter - não estamos apenas nos juntando a uma conversa ou esperando ser lidos por outros, estamos redesenhando nossa manifestação para ser melhor reconhecida e distribuída pelo algoritmo de busca do Twitter. Alguns usuários podem trabalhar para serem percebidos pelo algoritmo: sabe-se que adolescentes marcam suas atualizações de status com nomes de marcas conhecidas, não relacionadas ao assunto, esperando que o Facebook privilegie essas atualizações nos “Feeds de Notícias” dos seus amigos . Outros podem trabalhar para fugir de um algoritmo: sabemos que usuários de Napster e P2P, que compartilham músicas protegidas por direitos autorais, escrevem os nomes dos artistas com pequenos erros ortográficos para que os usuários consigam encontrar as músicas da “Britny Speers”, mas o software da indústria musical não. (p. 110-1)

Algoritmicamente identificáveis

Isso é burlar o sistema? Ou é uma maneira fundamental pela qual, até certo ponto, orientamo-nos perante os meios de distribuição através dos quais esperamos falar? Com base nos critérios do algoritmo em questão (ou de acordo com nossa melhor estimativa do seu funcionamento), nós já nos tornamos algoritmicamente identificáveis de várias formas. Isso não é tão diferente do que assessores de imprensa que orientam seus esforços para encaixar seus clientes nas rotinas da indústria de notícias: programar um comunicado de imprensa para sair na transmissão da noite, ou fornecer gravações de vídeo para uma emissora ávida por imagens emocionantes, são técnicas para lidar com uma mídia que pode ampliar seus esforços. Hoje, para todos nós, as redes sociais e a web oferecem uma espécie análoga de “visibilidade mediada” (THOMPSON, 2005, p. 49), e nós nos beneficiamos de forma semelhante quando lidamos com esses algoritmos. (p. 111)

Diferentes perspectivas sobre o funcionamento dos algoritmos

Mas quem está em melhor posição de compreender e operar os algoritmos públicos que tanto importam para a circulação pública de conhecimento? A visão sobre como funcionam os algoritmos de informação é uma forma de poder: vital para a participação no discurso público, essencial para ganhar visibilidade online, constituidor de credibilidade e das oportunidades que resultam dela. Como mencionamos anteriormente, os critérios e os códigos dos algoritmos geralmente são obscuros - mas não da mesma forma para todos. Para a maioria dos usuários, o conhecimento sobre os algoritmos é vago, simplista e, às vezes, equivocado; eles podem tentar empurrar o algoritmo tanto de maneiras que simplesmente consideram melhores (hashtags, metadados) ou que fundamentalmente equivocadas em relação aos critérios do algoritmo (como retuitar várias vezes a mesma mensagem na esperança de figurar entre os “Trendings” do Twitter). Os profissionais de SEO e os spammers também têm pouco acesso, mas desenvolveram habilidades técnicas para deduzir os critérios do algoritmo a partir de testes e engenharia reversa. Comunidades de entusiastas em tecnologia e críticos se engajam em tentativas semelhantes de descobrir o funcionamento desses sistemas, seja por diversão, conhecimento, vantagem pessoal ou determinadas interrupções. Os legisladores, que estão apenas começando a questionar as implicações dos algoritmos para um comércio justo ou para o discurso político, receberam até agora apenas as explicações mais gerais possíveis: os provedores de informação afirmam que seus algoritmos são segredos comerciais que não devem ser divulgados em espaços públicos. (p. 111-2)

Além disso, de fato algumas das partes interessadas recebem acesso garantido ao algoritmo, ainda que sob condições controladas. Os anunciantes recebem um tipo de acesso aos bastidores de funcionamento para saber como fazer o melhor lance . Os provedores de informação que oferecem Interfaces de Programação de Aplicativos (APIs - Application Programming Interfaces, em inglês), para seus parceiros comerciais e desenvolvedores, oferecem um vislumbre sob o capô, mas os vincula com contratos e acordos de não-divulgação no mesmo instante. O acesso, a compreensão e os direitos sobre os algoritmos que desempenham um papel crucial no discurso e no conhecimento públicos tendem a mudar entre as diferentes partes interessadas e em circunstâncias específicas - mudando também o poder disponível para essas partes, e para aqueles que elas representam, de construir para os algoritmos, navegá-los e regulá-los. (p. 112)

Domesticação das tecnologias

Por mais que essas ferramentas nos incitem a nos tornarmos legíveis para elas, nós também as inserimos nas nossas práticas, alterando seu sentido e até mesmo seu design, algumas vezes. Silverstone (1994) sugere que à medida que as tecnologias são oferecidas ao público, elas passam por um processo de “domesticação”: essas tecnologias entram em nossas casas literalmente, mas também de forma figurada - os usuários as transformam em propriedade, incorporando-as em suas rotinas e imbuindo-as com significados adicionais que os provedores não puderam antecipar. (p. 112)

Não devemos considerar os usuários sob influência das tecnologias (?)

Embora seja crucial considerarmos as formas pelas quais as ferramentas algorítmicas moldam nosso contato com as informações, não devemos insinuar que os usuários estejam sob a influência dessas ferramentas. A realidade é mais complicada e mais particular. (p. 112)

Algoritmos como tecnologias do self

Os usuários também podem recorrer a esses algoritmos, refletirem sobre si com base nos seus dados; muitos sites permitem nos apresentarmos para os outros e para nós mesmos, incluindo o nosso perfil público, o desempenho das nossas amizades, a expressão das nossas preferências ou um registro das nossas atividades recentes. O recurso da linha do tempo do Facebook organiza as atividades dos usuários como lembranças cronológicas sobre si mesmos; o prazer de ver o que é selecionado algoritmicamente oferece uma espécie de encantamento que vai além da composição das fotos e das postagens em primeiro lugar. Mas os algoritmos também podem funcionar como uma “tecnologia do self” (FOUCAULT, 1988), particularmente convincente, quando parecem ratificar, independentemente, a visibilidade pública de uma determinada pessoa. É comum, hoje, procurar a si mesmo no Google: ver-me aparecer como o melhor resultado da busca pelo meu nome, oferece uma espécie de garantia da minha tênue existência pública. Existe uma sensação de validação quando um tópico sobre seu animal de estimação aparece no “Trendings” e no Twitter; quando a Amazon lhe recomenda um livro que você ama ou quando a função “Genius” do iTunes da Apple compõe uma lista de reprodução interessante a partir da sua biblioteca de músicas. Seja quando nós efetivamente adaptamos nossas compras da Amazon para parecermos versados (assim como as famílias pesquisadas pela Nielsen exageravam ao informar quanto assistiam a PBS e C-Span)13 ou se simplesmente gostamos quando o algoritmo confirma nosso senso de identidade, os algoritmos são um convite poderoso para nos entendermos através de lentes independentes que eles prometem fornecer. (p. 112-3)

Algoritmos como resultado da intenção assimetricamente distribuída do designer e do usuário [e as contingências próprias à técnica?]

Os algoritmos não são apenas o que seus designers fazem deles, ou o que eles fazem a partir da informação que processam. São também o que nós fazemos deles dia após dia - mas com uma ressalva: como a lógica, a manutenção e o redesign desses algoritmos permanecem nas mãos dos provedores de informação, eles claramente estão numa posição privilegiada para reescrever nosso entendimento sobre eles, ou para gerar uma longa incerteza sobre os critérios que dificultam tratarmos os algoritmos como sendo verdadeiramente nossos. (p. 113)

Edgerank da Facebook

Bucher (2012) argumenta que o algoritmo EdgeRank, usado pelo Facebook para determinar quais atualizações de status são prioritariamente exibidas no “Feed de Notícias” de um usuário, encoraja uma “subjetividade participativa” nos usuários, que reconhecem que gestos de afinidade (como comentar a foto de um amigo) são um critério central para esse algoritmo. Longford (2005) argumenta que o código da plataforma comercial nos “habitua”, através de incessantes solicitações e configurações padrão cuidadosamente projetadas, a dar mais informações pessoais sobre nós mesmos. Mager (2012) e Van Couvering (2010) propõem que os princípios do capitalismo estão incorporados no funcionamento das ferramentas de busca. (p. 113)

Algoritmos de relevância oferecem conhecimento e formas de conhecer, em lógicas auto-afirmativas

Mas, nós não precisamos recorrer a tais teorias de dominação ideológica para sugerir que os algoritmos, projetados para oferecer conhecimentos relevantes, também oferecem formas de conhecer - e que, à medida que se tornam mais comuns e confiáveis, suas lógicas se tornam auto-afirmativas. A ferramenta de pesquisa do Google, entre suas 200 indicações, presume que um conhecimento relevante é assegurado em grande parte pela ratificação pública e está ajustada para dar grande peso às opiniões dos que já são autenticados publicamente. Esta mistura da sabedoria das massas e das autoridades coletivamente certificadas é a solução encontrada pelo Google para a antiga tensão entre o conhecimento e o senso-comum, no permanente problema de “como conhecer”. Não é sem precedentes, e não é uma maneira fundamentalmente errada de conhecer, mas é específica, com suas próprias ênfases e miopias. Hoje, a solução do Google é operacionalizada em uma ferramenta que bilhões de pessoas usam todos os dias, a maioria das quais a experimenta simplesmente como algo que “funciona” de forma simples e sem problemas. Até certo ponto, o Google e seu algoritmo ajudam a afirmar e a normalizar essa lógica de conhecimento como “correta”, tão correta quanto seus resultados parecem ser. (p. 113-4)

Público em rede

Ito, Boyd e outros autores recentemente introduziram o termo “públicos em rede” (BOYD, 2010; ITO, 2008; VARNELIS, 2008) para destacar as comunidades de usuários que podem se unir através das mídias sociais e a forma como as tecnologias estruturam como esses públicos podem se formar, interagir e, às vezes, se desfazer. “Enquanto os públicos em rede têm muito em comum com outros tipos de públicos, a forma como a tecnologia os estrutura introduz affordances distintas que moldam como as pessoas se engajam com esses ambientes” (BOYD, 2010, p.39). Visto que os algoritmos são um componente tecnológico central nesses ambientes mediados, eles também ajudam a estruturar os públicos que podem emergir usando a tecnologia digital. (p. 114)

Modulação e filtros-bolha

Algumas questões têm sido levantadas sobre as maneiras que o funcionamento dos algoritmos de informação, e os modos pelos quais escolhemos navegar por eles, poderiam minar nossos esforços de sermos cidadãos envolvidos. A capacidade de personalizar resultados de pesquisa e notícias online foi a primeira, e talvez melhor articulada, dessas preocupações. Com as ferramentas de busca contemporâneas, os resultados que dois usuários recebem para a mesma busca podem ser bem diferentes; em um serviço de notícias ou em uma rede social, as informações oferecidas podem ser adaptadas especificamente às preferências do usuário (pelo usuário ou o pelo provedor), de modo que, na prática, as histórias apresentadas, como as mais importantes, podem ser tão distintas de usuário para usuário que não exista sequer um objeto comum de diálogo entre elas. Sunstein (2001) e, mais recentemente, Pariser (2011) argumentam que, quando os serviços de informação algorítmica podem ser personalizados a esse ponto, a diversidade do conhecimento público e do diálogo político pode ser minada. Somos levados - por algoritmos e por nossa própria preferência pelos que pensam de forma semelhante - para dentro de “filtros bolha” (ibid.), onde encontramos apenas as notícias que esperamos encontrar e as perspectivas políticas que já nos são caras. (p. 114)

Públicos calculados

Mas os algoritmos não estruturam apenas nossas interações com os outros enquanto membros de públicos em rede. Eles também trafegam por públicos calculados que eles mesmos produzem. Quando a Amazon recomenda um livro que “clientes como você” compraram, está invocando e afirmando conhecer um público com o qual somos convidados a sentir afinidade - embora a população em que essas recomendações se baseiam não seja transparente e certamente não coincida com toda sua base de consumidores. Quando o Facebook oferece como configuração de privacidade que as informações de um usuário sejam vistas por “amigos e amigos de amigos”, ele transforma um conjunto distinto de usuários em uma audiência - trata-se de um grupo que não existia até aquele momento, e que só o Facebook sabe sua composição precisa. Esses grupos gerados por algoritmos podem se sobrepor, podem ser uma aproximação imprecisa ou podem não ter nada a ver com os públicos que o usuário procurou. (p. 114)

Questões levantadas a partir da ideia de construção de públicos

Em vez disso, o problema central aqui é que a intenção por trás dessas representações calculadas do público não é atuarial, de modo algum. Algoritmos, que alegam identificar o que está “em voga”, dedicam-se a estimar uma aproximação calculada de um público a partir dos rastros das atividades de seus participantes, e em seguida lhes apresentam um relatório sobre o que eles mais falaram. Mas, por trás disso, podemos nos perguntar: qual é a vantagem de fazer tais caracterizações para esses provedores e como isso molda o que eles estão medindo? Quem está sendo escolhido para ser medido a fim de produzir essa representação e quem é deixado de fora desse cálculo? E, talvez o mais importante, como estas tecnologias, agora não apenas tecnologias de avaliação, mas de representação, ajudam a constituir e codificar os públicos que eles afirmam medir, públicos que de outra forma não existiriam, exceto quando o algoritmo os convoca? (p. 115)

Questões para uma ciência social baseada em dados

A crença de que tais algoritmos, combinados com quantidades massivas de dados de usuários, são melhores para nos dizer coisas sobre a natureza do público ou sobre a constituição da sociedade, também provou ser sedutora para os estudiosos. A ciência social voltou-se avidamente para as técnicas computacionais ou para o estudo da socialidade humana através do “big data” (LAZER et al, 2009); para uma visão crítica, ver (BOYD; CRAWFORD, 2012), na esperança de desfrutar do tipo de insights que as ciências biológicas alcançaram, buscando algoritmicamente agulhas nesses palheiros digitais com todos esses dados. A abordagem é sedutora: ter milhões de dados gera maior legitimidade e é empolgante ver como os algoritmos parecem detectar padrões que os pesquisadores não puderam enxergar de outras formas. “Para um certo tipo de cientista social, os padrões de tráfego de milhões de e-mails parecem ter caído do céu” (NATURE, 2007). Mas essa abordagem metodológica deve considerar as complexidades descritas até aqui, particularmente quando os dados de um pesquisador foram gerados por algoritmos comerciais. As técnicas de pesquisa computacional não são barômetros do social. Elas produzem hieróglifos: moldados pela ferramenta pela qual são esculpidos, exigindo uma interpretação sacerdotal, eles contam histórias poderosas, mas muitas vezes mitológicas - geralmente a serviço dos deuses. (p. 115-6)

Sexismo algorítmico

Finalmente, quando nós somos os dados, o que devemos fazer com as associações que os algoritmos afirmam identificar sobre nós enquanto sociedade - o que não sabemos ou que talvez não queremos saber? No inquietante exemplo de Ananny (2011), ele percebeu que o mercado de aplicativos do Android recomendava um aplicativo sobre a localização de “predadores sexuais” 14 para os usuários que baixaram o Grindr, uma ferramenta de rede social baseada em localização para homens gays. Ele especula sobre como os algoritmos do mercado do Android podem ter feito essa associação - até mesmo as operadoras do Android não conseguiram explicar com facilidade. O algoritmo cometeu um erro? O algoritmo fez uma associação direta, simplesmente combinando aplicativos que continham “sexo” na descrição? Ou o mecanismo de recomendação do Android realmente identificou uma associação sutil que, embora não desejemos, é recorrentemente feita na nossa cultura, entre homossexualidade e comportamento predatório? Zimmer (2007) observa um caso semelhante: uma busca pela frase “ela inventou” retornava a pergunta “você quis dizer ‘ele inventou’”? Ou seja, isso aconteceu até que Google alterou os resultados. Embora preocupante em sua política de gênero, a resposta do Google foi completamente “correta”, explicada pelo triste fato de que, em todo o corpus da web, a palavra “inventado” é precedida muito mais vezes por “ele” do que por “ela”. O algoritmo reconheceu isso - e presumiu erroneamente que a pesquisa “ela inventou” fosse apenas um erro tipográfico. Aqui, o Google se prova muito menos sexista do que nós somos. Em resposta ao exemplo de Ananny, Gray sugere que, assim como devemos examinar os algoritmos que fazem esse tipo de associações, também devemos investigar os “algoritmos culturais” que essas associações representam (isto é, associando sistematicamente a homossexualidade com a predação sexual) em um conjunto massivo e distribuído de “pontos de dados” - nós mesmos. (p. 116)

Foco no discurso em detrimento do funcionamento (?)

Compreender os algoritmos e seu impacto no discurso público, então, requer pensar não apenas sobre como eles funcionam, onde são implantados ou o que os movimenta financeiramente. Este não é simplesmente um chamado para desvendar seu funcionamento interno e destacar seus critérios implícitos. É uma investigação sociológica que não interessa aos provedores desses algoritmos, que nem sempre estão na melhor posição para sequer perguntar. Requer analisar por que os algoritmos estão sendo vistos como uma lógica de conhecimento confiável; como eles desmoronam e são reparados ao entrar em contato com o vai e vem do discurso público; e onde os pressupostos políticos podem estar gravados não só em seu design, mas também serem constitutivos da sua utilização e sua legitimidade generalizada. (p. 116)

Lógica algorítmica de conhecimento. Algoritmos como mecanismos socialmente construídos e institucionalmente gerenciados.

A partir dessa perspectiva, devemos ver os algoritmos não apenas como códigos com consequências, mas sim como o mais recente mecanismo construído socialmente e institucionalmente gerenciado para convencer o julgamento público: uma nova lógica de conhecimento. Podemos considerar a lógica algorítmica como oposta, e até talvez suplantar, à editorial enquanto lógica concorrente. A lógica editorial depende das escolhas subjetivas de especialistas, que são eles próprios feitos e autorizados como tal através de processos institucionais de treinamento e certificação, ou validados pelo público através dos mecanismos do mercado. A lógica algorítmica, em contrapartida, depende das escolhas procedimentalizadas de uma máquina, projetadas por operadores humanos para automatizar alguma representação do julgamento humano ou desenterrar padrões através de traços sociais coletados. Ambas lutam com, e afirmam resolver, o problema fundamental do conhecimento humano: como identificar informações relevantes cruciais para o público através de meios inevitavelmente humanos, mas de formas livres de erros humanos, vieses ou manipulações. Ambas abordagens algorítmicas e editoriais do conhecimento são profundamente importantes e profundamente problemáticas; grande parte dos estudos em comunicação, mídia, tecnologia e público lida com uma ou ambas técnicas e suas armadilhas. (p. 117)

Mas pode haver algo, no final, impenetrável em relação aos algoritmos. Eles são projetados para trabalhar sem intervenção humana, são deliberadamente ofuscados, e trabalham com informações em uma escala que é difícil de compreender (pelo menos sem outras ferramentas algorítmicas). E talvez mais do que isso, nós queremos nos livrar do dever de sermos céticos sobre informações que nunca poderemos garantir com certeza. Através desses mecanismos, chegamos a um acordo sobre esse problema (se não o resolvemos) e, assim, eles são soluções com as quais não apenas podemos contar, mas em que devemos acreditar. Mas esse tipo de fé (VAIDHYANATHAN, 2011) torna difícil reconhecer sobriamente suas falhas e fragilidades. (p. 117)