COMPUTAÇÃO MALUCA

HAL9000: Uma visão profética dos problemas computacionais

HAL9000: Uma visão profética dos problemas computacionais

O filme “2001 – Uma Odisséia no Espaço”, de 1968, direção de Stanley Kubrick, foi um marco na história do cinema, mas foi muito além. Como previsão, errou feio, imaginando uma mente eletrônica funcional monolítica amarrada a um grande mainframe. O tempo passou, ultrapassamos a data prevista, e não conseguimos criar nenhuma inteligência artificial minimamente parecida com HAL9000, mas este personagem ainda assim foi profético sobre a estranha realidade que aos poucos vamos desvendando.

Através de seus diálogos proféticos, ele será nosso companheiro ao longo deste artigo, explorando e destacando um estranho mundo que aos poucos se descortina.

 

HAL9000.5

“Eu ainda tenho o maior entusiasmo e confiança na missão. E eu quero ajudá-lo”

 

A estranha computação que surge do caos

Vamos começar com um vídeo:

 

Calma. O AUTOentusiastas não virou site de jogos de computador. Apesar do jogo ser de futebol americano, há muitos detalhes sutis neste vídeo que interessa aos entusiastas de carros.

O jogo é o recente Maidden 16, da EA Sports, e já possuía uma série de reclamações de bugs e comportamentos estranhos poucos dias após ser lançado. Entretanto, o vídeo apresenta um comportamento que vem sendo tratado como um dos bugs mais bizarros dos últimos tempos pela imprensa especializada.

Entretanto, este não é um bug simples. Sequer há um bug no programa que gere esta maluquice. O que vemos ao longo de 9 longos minutos de um jogo non sense não é a bagunça pura tanto quanto parece. Se repararmos bem, o amontoado de jogadores se jogando no chão tentando chegar à bola é consistente tento em formato como estável ao longo do tempo. Isto não é um bug, mas a manifestação de um comportamento emergente muito consistente. Um comportamento emergente indesejável.

Já tivemos um grande artigo sobre comportamento emergente , mas vale a pena recapitular e reforçar alguns detalhes. Comportamento emergente ocorre da interação de vários agentes atuando dentro de um determinado espaço. Cada agente muitas vezes segue regras muito simples, mas a interação deles gera comportamentos altamente complexos.

O exemplo clássico é o formigueiro. Cada formiga realiza um trabalho bastante simples e pouco inteligente, mas a soma de milhares de formigas criam um formigueiro com comportamento complexo e inteligente. Mas este é um comportamento emergente positivo, desejável.

No caso do vídeo, cada jogador segue regras simples, mas a interação entre eles eventualmente gera aquele comportamento emergente negativo, indesejável. Aqui surge um aspecto importante para o comportamento emergente. As regras que cada jogador recebe foram programadas de forma que esses jogadores virtuais se comportem como jogadores reais. As regras são parecidas, mas não iguais, e esse é o problema.

Na maioria das vezes, os jogadores se comportam como previsto pelo projetista, simulando jogadores reais, porém, sob condições muito específicas o sistema deixa de se comportar como previsto e passa a operar de forma estranha, como no vídeo. Este comportamento estranho, embora anômalo, é estável e não se desfaz facilmente, além de ter uma conformação física bem característica. Estas três características — forma, estabilidade e tolerância a falhas — são explicadas porque o sistema opera dentro do que os matemáticos chamam de “atratores estranhos”.

Percebam que há tanto o comportamento individual dos jogadores bem como um comportamento coletivo do amontoado deles, formado pela união dos comportamentos de cada um, assim como num formigueiro.

Estes atratores são entidades matemáticas que definem um espaço limitado das variáveis de comportamento, dentro do qual o sistema passa a operar ciclicamente. Eles explicam por que na maioria das vezes o sistema opera como previsto e de repente muda para um comportamento estranho: as regras dos jogadores faz o jogo funcionar na maior parte do tempo dentro de um grande atrator que opera como imaginado pelo programador, mas sob determinadas condições o sistema “escorrega” para um atrator alternativo, não percebido pelo programador quando criou as regras dos jogadores, mudando o comportamento para algo não pensado e muitas vezes estranho.

Entretanto, citando George Dyson em seu livro “Darwin among the Machines”, “comportamento emergente é o que não pode ser previsto através da análise em qualquer nível mais simples que a do sistema como um todo . Comportamento emergente , por definição, é o que resta depois que tudo foi explicado.”

O que Dyson explica e seu livro é que os agentes nunca são indivíduos autônomos por completo. Eles se complementam através da sua iteração com os outros agentes dentro do ambiente do sistema como um todo.

No caso do jogo, só mesmo contemplando o seu ambiente como um todo é que comportamentos emergentes como o observado no vídeo podem ser previstos. Se o programador focar exclusivamente nas regras que cada jogador deve seguir, será impossível prever comportamentos emergentes como este. É provável que este enfoque tenha escapado ao gestor e programadores do jogo. Esta é uma conclusão muito importante sobre o projeto de qualquer tipo de sistema autônomo.

Mas este não é o único problema. Quando tornamos um sistema cada vez mais complexo e o deixamos trabalhar cada vez com maior carga, a maior complexidade gera mais atratores para comportamentos emergentes e os que existem se tornam ainda mais complexos e estranhos, e muitos deles, indesejáveis, enquanto a sobrecarga  faz o sistema ciclar mais e mais rápido, facilitando com que o sistema “escorregue” para estes novos atratores.

Ninguém via esse tipo de comportamento nos jogos de console Atari, por exemplo. Os jogos eram elementares demais para o surgimento de comportamento emergente.

Embora o vídeo apresente um jogo, o problema de engenharia computacional que ele revela é comum a todos os projetos modernos, de jogos de computador cada vez mais realistas a grandes complexos industriais altamente automatizados.

 

O comportamento emergente e o carro autônomo

google

A complexa programação dos carros autônomos é capaz de gerar estranhos comportamentos emergentes

O conceito expresso por Dyson é especialmente preocupante no caso de carros autônomos, e começa pelo próprio termo usado para defini-lo. Quando dizemos “autônomo” pensamos em um veículo capaz de realizar uma tarefa complexa por conta própria, ou seja, é um conceito de que algo é auto-suficiente por si só e sem depender do mundo exterior, enquanto Dyson nos diz que cada agente se complementa através do ambiente que o circunda e não é completo por si só.

Quando a automação do carro autônomo é pensada para que e o automóvel se torne auto-suficiente, não se prevê os efeitos colaterais entre a interação da programação da automação e as ações dos demais agentes em volta do veículo. Isso é um passo para comportamentos emergentes, muitos indesejáveis.

Observe o vídeo a seguir:

 

Este é um pequeno trecho da competição Darpa Urban Challenge de 2007 (Darpa é a sigla, em inglês, de Agência de Projetos de Pesquisas Avançadas de Defesa, do Departamento de Defesa dos EUA e o Urban Challenge/Desafio Urbano é um dos seus programas).  Forma-se um “congestionamento” de carros autônomos por comportamento emergente. Cada carro, embora siga uma programação diferente das demais, recebe instruções para ações “tímidas” ou “covardes” para preservar a segurança. Assim, quando chegam todos juntos ao cruzamento, cada um espera ser o último a sair. Quando algum deles desiste e isso ocorre junto com outro que toma a mesma decisão, a movimentação mútua dos carros leva todos a pararem e esperarem novamente a serem os últimos. E o mais interessante: os carros entram em uma ressonância que gera o comportamento emergente, apesar de seus programas não serem escritos para isso.

 

driverlesscar98567

Imagem de 1957 mostra que o carro autônomo é sonho antigo; naquela época ninguém imaginaria a complexidade da tecnologia necessária

Esse comportamento “tímido” ou “covarde” pode evitar situações de risco, mas imaginem o quanto podem atrapalhar o já confuso trânsito da cidade. Dado o explicado por Dyson, vemos que os carros autônomos ainda terão muitos anos de refinamento em condições reais antes que comportamentos emergentes indesejáveis sejam ao menos minimizados, dado que não há massa crítica de carros autônomos rodando em condições reais para que se possam observar todos os seus comportamentos emergentes.

Se os fabricantes de automóveis autônomos não se prepararem adequadamente, seus produtos serão mais a causa dos futuros congestionamentos do que a pretensa solução que poderiam oferecer por um bom tempo.

 

O carro do Google e a bicicleta

Um exemplo de como a programação dos carros autônomos ainda está na infância foi a experiência descrita por um ciclista de seu encontro com um carro autônomo do Google. Segundo a narração, o carro chegou a uma zona de cruzamento um pouco antes do ciclista. O ciclista respeitou o direito do carro cruzar seu caminho parando numa manobra chamada “track stand”, que consiste em permanecer equilibrado sobre duas rodas sem tocar no chão com o pé. Entretanto, o “track stand” não é uma manobra completamente estática, e é necessário alguns movimentos para frente (ou para trás, como se faz em monociclos).

O “track stand” deixou o carro do Google confuso, sem saber se a bicicleta estava parada ou em movimento, fazendo-o acelerar e frear seguidamente na tentativa de atravessar o cruzamento. Segundo o ciclista, os técnicos do Google davam grandes risadas da situação enquanto digitavam em seus notebooks.  A “dança” demorou cerca de dois minutos, mas sem oferecer risco algum.

 

HAL9000.2

“Descobri uma falha na unidade de AE35. Ele terá uma falha de 100% em 72 horas”

A descrição do ocorrido é visivelmente o de comportamento emergente do carro autônomo, criado por regras pouco flexíveis sobre o que é ou não um agente genérico parado ou em movimento e que define se o carro autônomo deve seguir ou parar. Percebam que em oito anos após o Darpa Urban Challenge há regras básicas de controle que ainda não foram evoluídas o suficiente para não causar  comportamentos emergentes estranhos e prejudiciais ao fluxo de tráfego.

A descrição evidencia que algumas regras de controle do carro autônomo são de automação convencional, de lógica digital do tipo “se algum objeto se mover para cruzar a trajetória do veículo, pare imediatamente”. Aí o ciclista se move para manter o equilíbrio e o carro autônomo do Google mantém um ciclo acelera-e-freia e fica pulando feito cavalo em rodeio.

Motoristas não têm esse comportamento, pois a rede neural do cérebro, além de seguir regras mais evoluídas, é muito mais progressiva nestes casos, mantendo o carro em velocidade baixa segura enquanto o objeto estiver distante o suficiente.

Se este é um caso recente, imaginem o que esses carros farão quando representarem 5% ou 10% da frota circulante e se relacionarão simultaneamente com centenas ou milhares de carros, convencionais ou autônomos, ao mesmo tempo.

 

Atenção à conectividade móvel

Fabricantes vêm investindo na conectividade, e um dos aspectos é a melhoria da segurança. Automóveis “conversarão” entre si, avisando o motorista ou mesmo agindo em antecipação para manter a segurança, informando situações de risco.

 

car-to-x-bmw-01-655x436

O veículo não conectado tem limitações para detectar agentes móveis ocultos de seus sensores, e não pode antecipar acidentes

A proposta em si é interessante, porém o trânsito é um ambiente caótico carregado de comportamentos emergentes. A introdução de sistemas de conectividade veículo-a-veículo e veículo-a-infraestrutura podem introduzir mais complexidade ao trânsito, sendo um prato cheio para o surgimento de novos comportamentos emergentes indesejáveis.

 

0606TRautomotiveFig3

Carros conectados podem trocar dados, melhorando a percepção de agentes móveis, aumentando a segurança

Quando avaliamos o caso do carro autônomo do Google e vemos o que uma regra inflexível, digital causa ao comportamento do veículo, podemos imaginar o que o mesmo tipo de lógica afetará veículos que conversam. E esse comportamento estranho terá conseqüências sobre os demais veículos em volta dele.

 

car-to-x-bmw-27-655x368

A comunicação do carro conectado com a infraestrutura permite a percepção do estado da sinalização não visível, e pode até alterar seu estado caso possível

 

O estranho caso da aceleração súbita.

Os autoentusiastas devem lembrar do caso de aceleração súbita nos carros da Toyota que terminou com uma convocação-monstro. Isso foi entre 2009 e 2010.

O caso todo foi mal contado. Inicialmente o caso foi explicado como sendo uma confusão com os pedais causado pelos motoristas, depois passou para o pedal do acelerador ficando preso pelo tapete e depois um problema de fabricação do próprio pedal, gerando a convocação. A Nasa foi chamada ao caso por duas vezes e nada foi encontrado. Após a convocação, aos poucos o caso saiu dos holofotes da imprensa e o caso foi esquecido pelo grande público.

Mas engana-se quem pensa que o problema foi encerrado. As reclamações de aceleração súbita ocorrem cada vez com mais regularidade pelo mundo. Só nos Estados Unidos, a NHTSA (Agência Nacional de Segurança do Transporte Rodoviário) recusou a abertura de duas novas investigações sobre o caso ainda em 2015, sendo a última no mês de agosto.

Vejamos este vídeo com uma coletânea de vídeos de acidentes de pretensas acelerações súbitas:

 

Há uma série de detalhes que podem ser extraídos dessas imagens. A primeira e mais óbvia é que há uma diversidade de marcas, modelos e países onde esses casos foram documentados. Ao contrário das conclusões atrapalhadas do caso da Toyota, essa diversidade exclui prováveis problemas de erros de programação ou de falha de material causando estes problemas, já que cada carro possui fornecedores e programações diferentes.

Também, até hoje não foram observadas e reproduzidas as condições relatadas pelos motoristas para comprovar a existência real desse comportamento.

Para muitos, isso é evidência de que o caso é pura invenção da imaginação coletiva. Porém, como se costuma dizer, a ausência de provas não é prova da ausência. Parece fácil jogar a culpa sobre motoristas, mas não é. Os primeiros indícios de que  o assunto não é tão simples apareceram durante o caso da Toyota, quando foi anunciado que o problema era de confundir os pedais.

Uma análise da base de reclamações junto à NHTSA mostrou que uma percentagem significativa de motoristas eram experientes o bastante para que esta hipótese não fosse completamente verdadeira. Havia casos envolvendo pilotos de corrida, policiais com cursos de perseguição, motoristas para autoridades com cursos de pilotagem de fuga, motoristas profissionais com mais de 40 anos de experiência, entre outros.

Mesmo que confundir os pedais explique a maioria dos casos , há ainda uma quantidade significativa de motoristas qualificados que não podem todos terem cometidos erros elementares de confusão com pedais. Além disso, muitos casos ocorreram em condições onde o disparo do veículo não causou um acidente imediato, dando tempo para o motorista perceber um engano com os pedais. Não se pode alegar que um motorista qualificado se engane com os pedais ou tenha o pedal preso pelo tapete por tanto tempo. Estes casos carecem de melhores explicações.

Estudos feitos por grupos independentes revelou alguns dados curiosos sobre casos no mundo inteiro. Há todo tipo de relato de aceleração súbita, mas há uma classe muito especial onde há várias coincidências.

A primeira verificação mostrou que não há uma diversidade diferenciada entre os motoristas que sofreram esse tipo de acidente e a população local de motoristas onde cada acidente ocorre. A grande maioria são de pessoas de bem, sem interesses de mentir ou adulterar fatos, e a habilidade ao volante é variada, havendo vários motoristas com qualificações para que nem todos os acidentes possam ser classificados como erro humano ou por motivos elementares como pedal preso pelo tapete. Além disso, os motoristas não se conheciam e há relatos muito semelhantes vindos de lugares bem distantes entre si.

A segunda verificação cruzou dados técnicos do veículo e chegou-se a algumas grandes coincidências dentro desta classe, e que podemos reparar no vídeo anterior:

– Os carros possuem acelerador eletrônico e câmbio automático inteligente. Em nenhum caso registrado na NHTSA haviam carros com acelerador mecânico, com câmbio manual, automatizado, robotizado ou automático puramente hidromecânico, e esse comportamento parece se repetir no resto do mundo, onde os relatos não são tão bem documentados.
– Os carros estavam engrenados, parados ou em baixa velocidade. Não há casos relatados de disparos de rotação de motor com o câmbio em ponto-morto.
– Muitos relatam que uma fração de segundo antes do disparo do veículo ouve-se um ruído no câmbio, como se houvesse algum acionamento estranho dentro do mecanismo.
– Em uma parcela dos casos existe o relato da exposição do veículo a extremos de temperatura, baixa em alguns casos e alta, em outros;
– Após o disparo, o veículo ignora quaisquer comandos de desligamento do motor, de comutação do câmbio para ponto-morto ou do uso dos pedais. Os relatos dizem que a alavanca pode ser tão inútil quanto um teclado para um computador travado.
– A incidência do problema de aceleração súbita é tão maior quanto mais sofisticado e complexo for o modelo de carro.
– Os casos relatados de aceleração súbita não só não pararam de acontecer, como vêm se avolumando ao longo do tempo, mesmo sendo um fenômeno esquecido da mídia. Não parece ser um fenômeno de modismo passageiro.

Os pesquisadores da área da saúde e a indústria farmacêutica possuem ferramentas estatísticas que permitem separar os casos de uma doença rara desconhecida e classificá-la apenas pela coincidência dos sintomas, mesmo que o ruído sobre essas informações seja muito grande. Quase sempre o uso dessa ferramenta é o bastante para disparar novas pesquisas e selecionar possíveis pacientes acometidos desse mal.

O uso destas ferramentas sobre o caso da aceleração súbita mostra que  há consistência suficiente dentro dos relatos para não classificá-los como mentiras ou enganos. Há um fundamento de verdade naquilo que é narrado sobre estes eventos.

Se por um lado há evidências estatísticas de que o caso não é mera histeria coletiva, por outro, a parte técnica mostra que as novas tecnologias permitem que o caso ocorra. Considerando-se que nestes veículos quem comanda a aceleração do motor não é mais o motorista diretamente, mas o software de gerenciamento do conjunto motriz, estabelece-se uma condição de viabilidade técnica para este comportamento. O veículo é comandado pelo computador, cabendo ao motorista apenas o papel de guia para a automação. E o computador pode agir de forma diversa aos sinais do motorista, e se o computador decidir da forma errada, há pouco que o motorista possa fazer.

 

HAL9000.7

“Desculpe, Dave . Não posso fazer isso … Esta missão é muito importante para mim para que você possa pô-la em perigo… Dave, essa conversa não possui mais qualquer propósito. Adeus…”

As explicações oficiais não dão conta de todos estes detalhes e geralmente recaem em explicações simplistas e genéricas par ao caso. As trapalhadas do caso da Toyota mostram que nem as autoridades americanas têm uma noção real do que está acontecendo. Há, entretanto, uma explicação que especialistas em matemática, física e automação dão ao caso: comportamento emergente.

Assim como ocorreu no jogo Madden 16 e em outros eventos de comportamento emergente, na grande parcela das vezes o carro funciona como projetado, mas sob condições bem específicas uma vez sendo atingidas, dispara-se um comportamento emergente indesejável de aceleração súbita. Neste caso específico, este evento pode ser tão raro de ser atingido que o mínimo desvio de qualquer variável pode manter o veículo dentro do comportamento projetado, tornando muito difícil reproduzir o evento em condições controladas.

Isso explicaria os eventos com carro parado ou em baixa velocidade, engrenados, os extremos de temperatura, a desobediência aos controles e a maior incidência em sistemas mais complexos.

Mas como a tese de comportamento emergente explica o fato dele atingir diferentes fabricantes e modelos, se cada modelo usa um conjunto diferente de componentes e softwares de controle? E por que o problema afeta apenas veículos com câmbio automático inteligente? A resposta está nos hólons.

Vamos pensar no cérebro. Ao longo dos anos os cientistas mapearam várias zonas do cérebro humano, cada uma com uma função: visão, olfato, paladar, sentimentos, racionalidade etc.. Há no entanto, um mistério ainda a ser compreendido. Descendo na escala de tamanho, quando deixamos as macroestruturas cerebrais e entramos a nível microscópico, cada cérebro possui sua própria rede de neurônios e sinapses, e ainda falta compreender como microestruturas diferentes conduzem a macroestruturas de funcionamento similar. Ao que tudo indica, a conectividade neural, embora única para cada cérebro, é orientada para atingir um funcionamento médio da macroestrutura. Todos os cérebros saudáveis tem zonas de mesma função, mas cada zona tem um funcionamento particular em relação às zonas dos outros cérebros. É isso que leva à individualidade das pessoas.

Este fenômeno, onde o comportamento emergente é dependente da macroestrutura e não de sua microestrutura é encontrada em várias partes da natureza e mesmo da realidade humana.

Em sistemas de hólons as estruturas que são edificadas tanto de baixo para cima (bottom-up) como  de cima para baixo (top-down). Enquanto as microestruturas constróem as macroestruturas, as macroestruturas ditam como as microestruturas se ligam para chegar à funcionalidade da macroestrutura.

Automóveis de modelos, fabricantes e fornecedores diferentes possuem macroestruturas semelhantes em suas funções, mesmo que seus subconjuntos mecânicos, elétricos e informáticos sejam diferentes. A teoria dos hólons abarca a hipótese de que o comportamento emergente indesejável de aceleração súbita pertença ao domínio da macroestrutura de funcionalidade comum a todos os fabricantes (gerar potência e tração através de motor a combustão e câmbio automático inteligente) e não da microestrutura que é particular a cada um. E vai além: assim como no jogo, há um atrator estranho que define o funcionamento normal desse conjunto motriz, mas pode existir outro, ainda desconhecido, para o qual o sistema pode “escorregar” sob condições muito específicas.

 

HAL9000.1

“Estou completamente operacional, e todos os meus circuitos estão funcionando perfeitamente”

Isso explica também o por que apenas carros com câmbios automáticos inteligentes são afetados. Seria como comparar cérebros de animais diferentes. Há funções homólogas, mas não exatamente iguais, causando diferenças de funcionamento que podem gerar ou anular comportamentos de aceleração súbita.

Se  relembrarmos o que diz George Dyson sobre a imprevisibilidade do comportamento emergente sem que abarquemos a totalidade do sistema, que o conjunto motriz dos carros automáticos estão imersos em um sistema complexo maior, e que ele pode estar ligado à macrofunção do conjunto motriz e não à sua microestrutura, tentar encontrar a causa da aceleração súbita fazendo uma auditoria no código de automação se mostraria uma atitude altamente improdutiva, como vimos no caso da Toyota com a entrada da Nasa para a auditoria do código-fonte do veículo.

 

A questão política da aceleração súbita

É política da indústria, não só a automobilística, afirmar que seus produtos são seguros, perfeitos, isentos de qualquer possibilidade de falha. E isso se repete no caso da aceleração súbita. Porém, basta pensar em quanto nossos computadores recebem atualizações para correção de erros de programação e falhas de segurança e que nossos carros possuem softwares quase tão complexos quanto os computadores para percebermos que isto não é verdade.

 

HAL9000.6

“Deixe-me colocar desta forma , o Sr. Amor. A série 9000 é o computador mais confiável de todos os tempos. Nenhum computador 9000 jamais cometeu um erro ou distorceu informações. Estamos todos, por qualquer definição concreta das palavras, infalíveis e incapazes de erro”

O tema de aceleração súbita é uma pedra no sapato da indústria porque ela não se tem mostrado mero modismo passageiro, e conforme os casos se acumulam, as explicações oficiais se desgastam até o ponto de ninguém mais acreditar nelas. Então essas explicações precisam ser administradas com cuidado para não se desgastarem.

Os dois processos de investigação solicitados à NHTSA, envolvendo vários casos de acidentes, foram negados pela única explicação de “confusão no uso dos pedais”.

Qualquer pesquisador sério sabe que “onde há fumaça, há fogo”, mas a falta em conseguir reproduzir a aceleração súbita tem induzido muitos especialistas a considerar o assunto como mera lenda urbana, o que é perigoso. Há elementos técnicos e estatísticos suficientes para uma avaliação criteriosa e científica do assunto. Se os métodos convencionais da engenharia não dão conta desta explicação, então justifica-se o uso de métodos não convencionais, mas o que não se pode fazer é “varrer o problema para debaixo do tapete”.

 

HAL9000.3

“Isto só pode ser atribuído a erro humano”

Considerar que a aceleração súbita é um problema de comportamento emergente indesejável, por um lado alivia a pressão da responsabilidade sobre a indústria. Tendo em vista que o carro é complementado pelo ambiente que o circunda, é impossível para o programador encontrar a razão da aceleração súbita apenas olhando para o código da automação. Além disso, comportamento emergente não é um bug de programação, mas uma propriedade do próprio sistema.

Por outro lado, essa explicação causa certo desconforto. Se ela é real, significa que enquanto a indústria não encontrar usa causa, ou ela abandona o sistema de câmbio automático ou ela assume que há um risco, por mínimo que seja, de ocorrer aceleração súbita com este tipo de veiculo. Seria um risco comparável ao de viajar de avião: por mais seguro que esse meio de transporte seja, algum risco sempre irá existir.

 

HAL9000.4

“Eu sei que já tomei algumas decisões muito ruins recentemente, mas eu posso te dar minha total garantia de que meu trabalho voltará ao normal”

O avião é o exemplo ideal desta situação. Sabe-se que o computador não é perfeito e já causou vários acidentes aeronáuticos. Ainda assim, numa comparação mais direta, para cada erro fatal introduzido pelo computador que seria evitado pelo ser humano, há pelo menos 50 erros fatais humanos que poderiam ser evitados pelo computador. Uma melhora na proporção de 50 para um é espetacular e seria mais do que suficiente para justificar o uso do computador nos aviões como meio de segurança. Mas admite-se que a introdução do computador é um troca de 50 possibilidades de acidente humano por uma possibilidade de acidente que antes não havia.

Seria uma boa justificativa também para a indústria automobilística, mas ao custo dela admitir que há possibilidade de erro pelo computador. Esta é uma questão política que a indústria automobilística não deseja assumir.

 

Aprender com o passado, evitar erros no presente e aplicar no futuro

No final do século 18, engenheiros e cientistas explicavam o Universo sob as luzes da Física de Newton e restava apenas as estranhas curiosidades de fenômenos como o magnetismo e a eletricidade. Veio o século 19 e tivemos a revolução nestes dois mistérios que um século antes eram apenas truques de salão. Mas não foi só isso. A revolução do uso do eletromagnetismo nos conduziu para uma nova física, cheia de gatos zumbis, meio vivos e meio mortos e de gêmeos de idades diferentes. Era uma física estranha, mas que novamente nos conduziu à realidade moderna, onde reina o computador.

Pois é este mesmo computador que está nos colocando à beira de um novo limiar: a de compreendermos a natureza do caos. O caos sempre esteve à nossa volta, mas nunca antes tivemos a capacidade de percebê-lo ou compreendê-lo. Mas agora com o computador podemos estudá-lo em sua complexidade.

Mas não só isso: nós estamos gerando mais e mais caos quanto mais usamos o computador para criar complexidade em torno de nós, e isso cria uma série de situações inesperadas e algumas bem indesejáveis.

O estado atual da ciência do caos se assemelha muito à da história da eletricidade. Estamos no limiar de uma nova fronteira para a ciência e a tecnologia, mas assim como os pioneiros da eletricidade, não sabemos bem com o que estamos mexendo e estamos criamos espetáculos com centelhas e cabelos em pé. Porém, esta brincadeira tem um risco. Cada dia que passa, nos cercamos de mais e mais computadores controlando até cafeteiras e lâmpadas, só porque é possível, é barato e confortável de ter. Mas isso esconde o caos crescente que nos rodeia, e que ainda não dominamos.

A evolução da ciência do caos nos permitirá maravilhas impensáveis no futuro, mas no presente, incontrolável e desconhecido, é um inimigo oculto.

A informática sofreu uma explosão nos últimos 30 anos. O que antes era uma caixa com um teclado e algo parecido com uma TV em preto e verde e que pouca gente entendia agora está por todas as partes, coloridas e divertidas como nunca e comandam até as coisas mais improváveis naquela época.

Se há 20 anos celular tijolão e internet telegráfica era para poucos, agora temos ambos juntos no mesmo aparelho dentro dos nossos bolsos. E logo será a vez da internet das coisas, onde até geladeira da cozinha dirá a você (e a quem mais?) tudo que ela sente e faz e se integrará com seu automóvel para mudar sua rota para o supermercado (indicado por quem?) para comprar os gêneros de necessidade (ou nem tanto).

Estamos automatizando tudo e tornando mais inteligente aquilo que já foi automatizado. Fazemos porque o poder computacional se tornou barato e acessível. Fazemos porque é fácil e só vemos as vantagens disso.

Entretanto, nada é perfeito. Se a automação em larga escala nos trás conforto, alguma desvantagem deve oferecer. Mas que deveria ser um pensamento saudável passa a ser um pensamento inconveniente.  Muitos irão pensar “Como é que algo tão legal pode ter um lado ruim?”.

Mas não somos deuses para violar as leis naturais. Quanto mais tornamos um sistema complexo e sobrecarregado, mais próximo do caos ficamos. Quando automatizamos nossas vidas em larga escala e passamos a depender delas, nos aproximamos justamente do caos que queremos evitar. Este é o caminho direto para gerarmos mais e mais comportamentos emergentes, e não temos pessoal qualificado para lidar com ele.

O caso é tão grave que que o assunto foi incluído no currículo de cursos de reciclagem para técnicos e engenheiros da Marinha americana.  O grau de surgimento de comportamentos emergentes indesejáveis era tal que afetava desde equipamentos isolados a até mesmo softwares de gestão e controle tático das frotas, e o despreparo destes profissionais retardava ou impedia o diagnóstico correto e a correção do problema.

Se hoje um sistema operacional complexo como o Windows 10 contém algo em torno de 50 milhões de linhas de código, um carro para classe média já contém 15 milhões de linhas, e isso sem contar a conectividade plena que estará logo aí, e mais futuramente o carro autônomo.

Sem os devidos cuidados, os veículos do futuro serão assombrados por comportamentos emergentes cada vez mais  bizarros e freqüentes. E ninguém parece preocupado com eles por enquanto, quanto mais preparado para diagnosticar e corrigir automóveis “teimosos”.

Se hoje está fácil para a indústria e as autoridades impingirem ao motorista a responsabilidade pela aceleração súbita e ficar tudo por isso mesmo, no ritmo que estamos de carregar os carros de mais e mais software sem compromissos com limites ou responsabilidades e só pensando o quanto isso vende carros, outros comportamentos emergentes se farão presentes e rotineiros, inviabilizando esse discurso.

Antes era difícil escrever este artigo por falta de exemplos ilustrativos. Hoje o exemplo se faz presente e pôde ser facilmente demonstrado de forma didática.
Só espero que no futuro não seja esta uma realidade diária em todas as coisas.

AAD

Origem das imagens:
http://paleofuture.gizmodo.com/driverless-car-of-the-future-1957-512626169     http://wahuntley.blogspot.com.br/2013/10/2001-space-odyssey-1968-review-stanley.htmlhttp://www.cagle.com/2014/06/google-tests-driverless-congress-without-eric-cantor/https://www.press.bmwgroup.com/global/pressDetail.html?title=the-bmw-group-gets-cars-and-motorcycles-talking-to-each-other-in-the-simtd-research-project-one-of&outputChannelId=6&id=T0132925EN&left_menu_item=node__5236http://bmwblog-rus.com/noveyshie-tehnologii-bmw/tehnologii-budushhego-ot-bmw-chast-2http://electronicdesign.com/iot/internet-things-hits-road

P.S.: Para quem não sabe, HAL9000 foi uma inteligente forma de merchandising, em que a IBM divulgou num filme seu mais recente computador, o IBM9000. Basta o leitor substituir as letras H-A-L pelas que a sucedem no alfabeto.

(215 visualizações, 1 hoje)