A Bluesoft participou da sétima edição do AWS re:Invent, o evento global da Amazon Web Services (AWS). Neste ano o evento foi realizado entre 26 e 30 de novembro, em Las Vegas/EUA, onde ocorre desde 2012.

A Bluesoft esteve presente em todas as edições e viu de perto o crescimento do evento e da liderança da AWS em Cloud Computing. Neste ano o evento contou com mais de 50 mil participantes que vieram de todas as partes do planeta.

O AWS re:Invent é composto por diversas atividades como workshops, palestras, cases, bootcamps e chalk talks. Além disso, há vários keynotes com anúncios de novos produtos e serviços.

Só em 2018 a AWS lançou mais de 1.800 novas funcionalidades. No AWS re:Invent, foram mais de 2.000 atividades que destacaram, além dessas novidades, os lançamentos realizados ao longo do evento.

Este ano fomos em quatro pessoas da Bluesoft e nos dividimos para aproveitar o máximo de conteúdo possível. Mesmo assim, conseguimos participar apenas de uma fração das atividades disponíveis devido ao tamanho da conferência.

Com crescimento acelerado de 46% e faturamento de mais de 27 bilhões de dólares, a AWS mostra que cada vez mais empresas estão migrando, em parte ou na totalidade, suas operações para a Nuvem. Além disso, estes números mostram que a AWS permanece disparada na liderança desse mercado.

AWS re-invent 1

Um ponto que o CEO da Amazon, Andy Jassy, fez questão de enfatizar é que os outros provedores de computação em nuvem estão mais preocupados em lançar serviços para marcar no checklist e dizer que tem a solução. Porém, na tentativa de acompanhar o pioneirismo da AWS, lançam soluções superficiais com uma fração dos recursos oferecidos pela Amazon.

Aplicações mais Distribuídas com Diversidade de Tecnologias

Um dos assuntos mais abordados atualmente é que as empresas têm adotado modelos de desenvolvimento de software mais distribuídos e com diversos bancos de dados e microsserviços. Isso, em vez de uma única aplicação monolítica com um banco de dados centralizado generalista que tenta resolver todos problemas.

Para facilitar a adoção desse novo modelo, a AWS lançou novos recursos para seus bancos de dados Aurora e DynamoDB. Além de lançar dois novos bancos de dados: um baseado em time-series (temporal) e outro em ledger (livro-razão).

Discutiremos esses lançamentos em detalhes mais adiante.

AWS re-invent 2

Em 2017 a AWS já havia lançado um novo banco de dados chamado Neptune. Ele é baseado em Grafos e ideal para ser utilizado por aplicações que possuem redes sociais, por exemplo.

Para o CTO da Amazon, Werner Vogels, os bancos de dados relacionais tradicionais não foram feitos para a Nuvem, mas para décadas atrás. No AWS re:Invent ele contou a história de como foi migrar de Oracle para os demais bancos de dados.

Inclusive, houve um bootcamp no evento chamado “Migrate from that expensive database to Amazon Aurora” que ensinou como fazer essa migração. Isso, com ferramentas como Database Migration Service, AWS Database Migration Service Schema Conversion Tool, Amazon Aurora e AWS Glue.

Também houve uma palestra específica sobre esse assunto no evento que você pode assistir no canal da AWS no YouTube:

AWS re-invent 3

Suporte a novas linguagens de programação e Plataformas open source

A AWS anunciou ainda suporte a novas linguagens de programação (tais como Ruby, Rust e até Cobol) para a Lambda, seu serviço base para aflições serverless.

Além disso, tornou open source a plataforma que dá suporte aos sistemas Serverless da AWS: o Firecracker. A Amazon vinha sendo criticada por utilizar uma série de projetos open source, porém não contribuir tanto com a comunidade.

Acredito que tenha sido uma boa resposta para essas críticas porque o Firecracker gera grande diferencial para AWS, é disruptiva e essencial para a viabilizar Serverless.

Ainda pensando em desenvolvedores, a AWS anunciou integrações com as IDEs preferidas, por exemplo, IntelliJ e VSCode. Embora a AWS tenha lançado no ano passado sua IDE Online, o Cloud9, ela assume que é importante integrar com as ferramentas que os desenvolvedores já utilizam atualmente.  

Reduzindo o Impacto da Explosão (Blast Radius)

Outro termo bastante utilizado e discutido na AWS é a redução do impacto causado por problemas em algum componente.

Em seu Keynote, Werner contou sobre a primeira vez que a Amazon ficou horas fora do ar por causa de um bug no banco de dados. Depois disso, eles passaram a buscar pontos de falha incansavelmente. Outra ação foi tornar os sistemas mais distribuídos para que uma falha (e tudo acaba eventualmente falhando) cause o menor impacto possível na operação.

Esse caso levou a AWS a pensar em multi-AZ para replicar dados e aplicações em diferentes data-centers e até mesmo Multi-Region para replicar em divergentes paredes do globo. Além da criação de microsserviços.

Microsserviços

A AWS fez alguns lançamentos importantes para facilitar a criação de aplicações pequenas e distribuídas com uma diversidade de bancos de dados distribuídos. Muitas dessas tecnologias já existiam em projetos open source, porém, agora a AWS oferece serviços gerenciadas prontos para serem usadas que não dependem de servidores ou de gestão e monitoramento. Isso tira o peso do cliente de ter que manter essas soluções manualmente.

O Cloud Map é um service discovery, uma ferramenta que cadastra, organiza e monitora recursos. Sendo que até então o Netflix Eureka era um dos mais usados. Isso permite que você encontre recursos facilmente quando precisar, independente de qual máquina virtual ou contêiner eles estejam sendo executados. Você pode definir um nome amigável para o recurso e usar isso para facilitar a busca. Gosto de pensar nisso como se fosse um DNS simplificado.

Já o App Mash é uma solução que visa facilitar a comunicação entre microsserviços. Além disso, ele vai gerar logs e controlar o tráfego de rede.

Para tornar viável o uso de microservices com bancos de dados independentes, muitas startups estão utilizando um serviço de streaming open source chamado Kafka. Além de disparar eventos para diferentes serviços, ele mantém um registro de todos os eventos criados para que possam ser consumidos novamente ou auditados se for necessário.

Apesar da AWS já oferecer o Kinesis, que pode ser utilizado de forma semelhante, ela reconheceu que há uma grande parte de seus clientes que prefere o Kafka e estava mantendo seus clusters manualmente. Por isso, agora há também um serviço gerenciado de Kafka que pode ser utilizado.

A AWS já havia feito no passado um movimento semelhante, lançando um serviço gerenciado de Kubernetes. Isso, embora já tenha sua própria solução para orquestração de contêineres, o ECS.

Inteligência Artificial

O CEO Andy Jassy, em seu Keynote, conta que muito embora diversas companhias já fazem amplo uso de AWS para Inteligência Artificial – tais como DigitalGlobe, Expedia, Formula 1, NASA, NFL e o World Bank – o sentimento geral lembra a música do Elvis Presley “A little more conversation, a little more action please”. Em outras palavras, é preciso falar menos e fazer mais.

Por isso, a AWS fez vários lançamentos para ajudar as empresas a utilizarem inteligência artificial em seus negócios.

Alguns recursos utilizados pela Amazon Varejo há muito tempo agora estão disponíveis para todos através de serviços da AWS. Um deles é a recomendação de produtos com base no perfil do consumidor, disponível (em preview), através do novo serviço Amazon Personalize.

AWS re-invent 4

Na mesma linha, foi lançado um serviço para forecasting que pode ser utilizado, por exemplo, para previsão de vendas ou previsão de demanda de produtos. Esse serviço se chama Amazon Forecast.

AWS re-invent 5

Pela primeira vez a AWS lançou um serviço de inteligência artificial voltado para um segmento específico. O Comprehend Medical é um serviço para medicina que pode extrair informações importantes como dosagem, frequência e medicamentos de textos não estruturados.

Novidades em Chips e no SageMaker

Em 2015, a Amazon adquiriu a empresa Annapurna que produzia chips e agora lançou sua primeira oferta. O produto é um chip otimizado para realizar operações de inferência em modelos de Machine Learning desenvolvidos com frameworks como TensorFlow, Apache MXNet e PyTorch.

Por falar em Chips, agora a AWS também oferece servidores com processadores AMD – e com seus próprios chips Graviton – a preços menores do que os tradicionais da Intel.

Além disso, o serviço SageMaker, lançado ano passado, também recebeu diversas melhorias. Por exemplo, SageMaker Ground Truth, SageMaker RL, SageMaker Neo e Elastic Inference.

O SageMaker Ground Truth permite categorizar imagens por algoritmos ou por terceirização humana. Isso, através do trabalho de freelancers no serviço Mechanical Turk ou até mesmo usando colaboradores da sua empresa. Essa categorização é então utilizada para fonte de treinamento de Machine Learning.

AWS re-invent 6

Marketplace para Algoritmos de Machine Learning!

Outra novidade que promete trazer benefícios com o tempo é a criação de um Marketplace para Algoritmos de Machine Learning. Com a escassez de pessoas capacitadas para desenvolver soluções de inteligência artificial, esse novo mercado pode tornar a aplicação de inteligência artificial mais fácil e acessível para companhias que não conseguem ter um time de cientistas de dados a disposição.

Alguns algoritmos de parceiros AWS que já estão disponíveis são: Processamento de Linguagem Natural, Detecção de Objetos, Regressão, Classificação de Textos, Clusterização, Ranking, Detecção de Anomalias, entre outros.

Um OCR mais Inteligente

Hoje em dia, milhares de empresas ainda utilizam formulários ou precisam escanear e digitalizar documentos. Mas agora é possível transformar imagens e PDFs em texto através de um API.

Essa tecnologia utiliza inteligência artificial para extrair informações de forma estruturada mesmo nos mais despadronizados formulários e documentos.

Eu que já utilizei bastante soluções semelhantes, e até bibliotecas open source no passado, fiquei impressionado com o resultado.

Eliminando o Esforço que não gera Diferencial Competitivo

Um dos termos utilizados por diversos palestrantes da AWS é eliminar o “Undifferentiated Heavy Lifting”, o que se traduziria mais ou menos como “Eliminar o Esforço que não gera Diferencial Competitivo”.

Por isso, a Amazon oferece diferentes serviços gerenciados como RDS que evita que seja necessário fazer a gestão manual de instalação, monitoramento, replicação e backups dos bancos de dados em servidores EC2. Isso tira o foco dos desenvolvedores de resolver problemas de negócios para seus clientes, e não gera diferencial, pois são trabalhos de rotina que todos devem fazer. Esses serviços permitem que o desenvolvedor foque no que vai trazer diferenciais para seu produto ou serviço.

AWS re-invent 7

Nessa mesma linha de raciocínio, a AWS vem lançando diversos serviços ao longo dos anos. Como foi o caso de serviços gerenciado para Kubernetes (EKS) e nesse ano lançou o serviço gerenciado para Kafka.

Marketplace para Contêineres

O AWS Marketplace permite que parceiros ofereçam soluções que podem ser executadas dentro da AWS. Antes era possível empacotar tais soluções apenas em AMIs (imagens de disco), mas agora também é possível utilizar Docker. Essa novidade deverá trazer muito mais parceiros e soluções para o Marketplace.

Ambientes Híbridos

Em 2017, a AWS anunciou uma parceria com VMWare e agora é possível que as empresas que trabalham em nuvem pública, mas também mantém alguns serviços rodando em seus próprios data centers, consigam utilizar serviços da AWS com o RDS.

Isso, através do AWS Outposts, um hardware rack completo com computação e armazenamento desenvolvido pela AWS que pode ser instalado no data-center corporativo. Os clientes podem escolher se vão executar software AWS ou VMWare para operar sua nuvem híbrida com essa tecnologia.

AWS re-invent 8

Networking

Seguindo na linha da Nuvem Híbrida, foi lançado o AWS Transit Gateway. Esse serviço permite que clientes conectem milhares de VPCs (Virtual Private Clouds) e Redes On-Premises de uma forma muito mais rápida e simples do que antes apenas com VPC Peering.

A AWS anunciou também o Global Accelerator. Ele utiliza uma infraestrutura da AWS em cima da internet para comunicação multi-região, melhorando performance e disponibilidade.

Além disso, foi lançado um novo tipo de networking que chega a 100 Gbps, o Elastic Fabric Adapter. Ele possui baixíssima latência pensando na utilização de High-performance computing (HPC).

Blockchain

Passada a febre das criptomoedas, ainda se fala muito das tecnologias que viabilizaram sua existência, em especial a Blockchain.

Andy Jassy contou que a Amazon conversou com diversos clientes sobre como eles queriam aplicar Blockchain em suas operações. Assim, a empresa percebeu que haviam dois casos de uso bastante distintos: o centralizado e o descentralizado.

Para atender ao uso descentralizado, a Amazon lançou uma solução gerenciada de Blockchain (AWS Managed Blockchain) que já está disponível.

Para casos de uso em que há uma organização centralizadora das informações, a Amazon lançou um novo banco de dados chamado Amazon Quantum Ledger Database (QLDB). Ele é uma espécie de livro-razão cujo registros podem ser verificados criptograficamente por uma autoridade centralizadora, que é imutável mantendo o registro de todas as operações realizadas.

Banco de Dados Temporal

O Novo AWS Amazon Timestream é mais um banco de dados, serverless, especialista, rápido, gerenciado e escalável. Oferece processamento 1000x mais rápido por um décimo do custo de bancos de dados relacionais.

Ele pode ser consultado com uma sintaxe similar a SQL e já possui suporte a detecção de anomalias e forecasting com Machine Learning.

Banco de Dados Relacional Global

O Aurora é o principal banco de dados relacional da AWS. Ele dá suporte a alta disponibilidade e velocidade, por um preço muito menor do que bancos de dados comerciais como Oracle e SQL Server.

Agora, o Aurora passa a suportar nativamente distribuição global (não apenas em zonas de disponibilidade, mas também em diversas regiões).

Banco de Dados Não Relacional Dynamo

O DynamoDB é o principal banco de dados distribuído da AWS que permite armazenamento de informações não estruturadas, baseadas em chave-valor.

No ano passado foram anunciadas as Global Tables do Dynamo, permitindo também replicação multi-região. Agora, a novidade é que não é mais necessário provisionar recursos (leitura e escrita) para o Dynamo, ele pode ser utilizado sob demanda e escalar automaticamente, assim como outros serviços da AWS.

Outra novidade no DynamoDB é a possibilidade de se utilizar transações para fazer rollback e melhorar a consistência das informações.

S3 e Data Lakes

Vem se disseminando a ideia de reunir todos os dados em formato não estruturado de diferentes aplicações em um Data Lake, que geralmente é concentrado no S3, o banco de dados de objetos da AWS.

Geralmente, depois esses dados são processados para Analytics com soluções de Big Data. O Lake Formation é um novo serviço da AWS que facilita a criação, segurança e gestão de Data Lakes.

Agora também é possível habilitar SFTP em um Bucket do S3. Por incrível que possa parecer, mesmo em tempos de WebServices e APIs, FTPs ainda são muito utilizados. Assim, novamente com o objetivo de tirar esse peso de implementar e manter isso manualmente, a AWS agora oferece uma forma rápida e descomplicada de oferecer um ambiente de troca de arquivos com FTP.

A AWS também anunciou o DataSync, que permite fazer transferência de dados entre On-Premises e a Nuvem AWS. Ele é muito mais rápido do que soluções anteriormente disponíveis, chegando em até 10 Gbps por agente.

Agora no S3 também é possível automatizar a escolha do nível de armazenamento de acordo com uso dos arquivos. Isso permite garantir que os dados sejam armazenados com o menor custo possível que atenda a necessidade do cliente.

Por exemplo, arquivos frios com baixo nível de acesso podem ser armazenados no Glacier que apresenta mais tempo de espera para retornar o arquivo. Porém, tem um custo de armazenamento extremamente baixo (próximo de US$ 1,00 por TB/mês).

Monitoramento

Para apoiar o monitoramento, a AWS lançou o CloudWatch Insights. Esse serviço une diferentes fontes de dados geradas pelos serviços da AWS para prover insights sobre causas ou prevenções de problemas. Isso, utilizando Inteligência Artificial para reconhecer e aprender padrões.

Reforçando as Boas Práticas

Um dos pontos de conhecimento mais cobrados pela AWS em suas certificações é o Well Architected Framework, um conjunto de boas práticas em diversos tópicos como segurança, recuperação de desastres e replicação.

Esses conhecimentos estavam espalhados em uma série de artigos publicados pela AWS. Porém, agora há uma forma simples de validar se a sua infraestrutura está em compliance com essas boas práticas através do novo serviço Well Architected Tool.

AWS re-invent 10

BI e Analytics: Quick Sight

A Amazon apresentou duas novidades importantes no Quick Sight, sua solução de Visualização de Dados lançada há alguns anos.

O Quick Sight, na minha opinião, ainda está longe de se comparar a uma solução como o Tableau, por exemplo. Mas vem evoluindo aos poucos e agora já possui suporte a Embed, isso é, pode-se incluir um dashboard dentro de uma aplicação externa. Também foi anunciado que agora é possível utilizar algoritmos de Machine Learning para detectar anomalias nos dados, fazer previsões e exibir informações em formato em linguagem natural.

Mobile

A AWS já havia apresentado algumas ferramentas para facilitar o desenvolvimento de aplicações mobile. Como por exemplo, o Cognito para login e o AWS AppSync para comunicação via GraphQL (como alternativa REST) para diminuir o número de chamadas do App para o Backend para obter todas as informações necessárias para renderizar o Frontend.

Para complementar o ecossistema mobile, foi lançado o AWS Amplify Console que permite fazer entrega contínua de aplicações mobile e web. Isso, tanto do Backend quanto do Frontend em um único Workflow.

Robôs e IoT

Outra novidade que nos surpreendeu foi o AWS RoboMaker, um serviço que permite desenvolver, testar e fazer deploy de aplicações robóticas em escala. O serviço já vem integrado com a IDE Cloud9, lançada no evento do ano passado.

Além disso, com o RoboMaker você pode controlar uma frota de robôs e realizar simulações na nuvem antes de atualizar o software nos robôs.

A AWS também lançou um carro de brinquedo autônomo chamado DeepRacer que executa modelos de Reinforced Learning. Inclusive, os participantes do AWS re:Invent puderam subir seus próprios algoritmos para participar de uma corrida, cujo o objetivo era fazer o carrinho utilizar machine learning para aprender a correr sem sair da pista. Os três melhores tiveram a oportunidade de se apresentar no segundo Keynote do evento.

Já foi anunciado que no AWS re:Invent 2019 haverá uma competição oficial. O DeepRacer já pode ser adquirido na Amazon pelo preço de lançamento de $249 (esse é o preço de lançamento, depois vai aumentar).

AWS re-invent 11

Em anos anteriores foram lançados outros serviços que usam equipamentos físicos nessa linha. Como por exemplo, o AWS DeepLens e o IoT Button.

Com a Alexa, a Amazon mostrou que é possível criar aplicações que ouvem e falam. Já com Kinesis Vídeo Streaming e AWS Recognition, a Amazon mostrou que é possível criar aplicações que enxergam e reagem ao que vêem.

Agora é só uma questão de costurar todas essas tecnologias com mais aplicação de Inteligência Artificial para construir robôs inteligentes. Esses robôs poderiam ser usados em fábricas, casas e escritórios para realizar diversas atividades.

Satélites

Pode parecer um pouco estranho, mas a AWS também lançou um serviço voltado para estações de controle de comunicação com satélites. Esse é um serviço que geralmente é caro e envolve contratos de longo prazo.

Com essa solução da AWS agora será possível pagar sob demanda, apenas pelo uso, assim como os outros serviços que já fazem parte da plataforma.

Gestão Multiconta

Já faz algum tempo que a AWS vem recomendando a utilização de Múltiplas Contas para diferentes tipos de Workloads ou Ambientes.

O Control Tower vem justamente para facilitar a gestão dessas diversas contas de uma organização. Com ele você pode automatizar a criação de regras e políticas que devem ser utilizadas por todas as contas. Além disso, ele oferece uma visão consolidada em um único dashboard de informações sobre todas as contas.

Gestão de Licenças

O lançamento License Manager permite cadastrar todas as licenças de aplicações comerciais e criar regras de compliance. Isso pode evitar, por exemplo, que um servidor seja criado com uma aplicação cuja licença não tenha sido comprada ainda.

Impressões do time da Bluesoft sobre o AWS re:invent 2018

O AWS re:invent mais uma vez foi surpreendente!

A comunidade em torno da AWS não pára de crescer e o nível das palestras e atividades foi sensacional. É uma experiência fantástica de imersão em computação em nuvem, aprendizado e networking.

A AWS nos surpreendeu com lançamentos que jamais poderíamos ter imaginado. Diversas dessas boas surpresas serão muitos úteis para na nossa rotina e aumentarão nossa eficiência e produtividade. Porém, sempre temos aqueles itens na lista de desejos que ainda foram atendidos.

Do que sentimos falta?

Não como protesto, mas por diversão, vou compartilhar alguns itens da nossa lista de desejos. Além disso também vou falar de algumas previsões que acertamos e erramos sobre os lançamentos.

Já se tornou um ritual anual aqui na Bluesoft. Enquanto esperamos o embarque no aeroporto, nos reunirmos para apostar quais serão os lançamentos apresentados nos Keynotes e quais são os itens que levaremos em nossa lista de desejos.

Mesmo sem ter informações privilegiadas, esse ano acertamos alguns. Como por exemplo, o serviço de Blockchain, o banco de dados time series, as ferramentas para facilitar microservices, as novas linguagens para Lambda e as ferramentas para gestão de múltiplas contas.

Quase todos os anos algum de nós aposta que a AWS vai lançar um serviço de MongoDB gerenciado, apesar de já ter o DynamoDB. Acreditamos que o Dynamo deixa espaço para um banco de dados NoSQL que permita consultas mais ad hoc e menos planejadas. Mas até hoje não acertamos.

De toda forma, existe o Atlas que é um serviço gerenciado pela própria empresa MongoDB. Mas atualmente somos nós quem gerenciamos manualmente nossas instâncias de Mongo.

Nós também achamos que a AWS daria um passo além do AWS Amplify e apresentaria alguma solução Low Code para facilitar ainda mais o desenvolvimento de aplicações Web e Mobile, já que ano passado lançou o Cloud9. Erramos.

Pensamos que seria lançada uma solução de APM para monitoramento de aplicações que fosse além do que o CloudWatch e o X-Ray, mais na linha do que a New Relic faz. Erramos de novo.

Outras bolas-fora foram: Repositórios públicos para Docker, Memory Data Grid e um Cluster Multi-region para ECS.

Ainda assim, claro, saímos muito felizes com as novidades e lançamentos.

De Developers para Builders

AWS re-invent 12

A AWS vem reforçando a ideia de seu público-alvo como sendo builders. Não apenas desenvolvedores, mas arquitetos de soluções, especialistas em segurança, networking, cientistas de dados, etc. A ideia de builder acaba sendo mais abrangente do que developer e com isso eles conseguem tornar a comunicação mais ampla e trazer mais profissionais para ecossistema.

Nessa linha, a AWS, está lançando uma série de televisão em que o CTO da Amazon, Werner Vogels, viaja pelo mundo conversando com Startups sobre como estão utilizando a tecnologia da AWS para criar as mais diversas soluções. A série está disponível na Amazon Prime e no Youtube.

Conclusão

Esta edição do AWS re:invent foi repleta de lançamentos que serão muito úteis para a Bluesoft e outros parceiros da AWS.

Com esses novos recursos poderemos focar ainda mais no que gera diferencial para nossos serviços e menos em trabalhos de gestão e administração de serviços, que agora poderão ser utilizados na forma de serviços gerenciados.

O uso e aplicação de Inteligência Artificial se torna mais fácil, rápido e prático com diversas soluções e com o novo Marketplace.

Os novos bancos de dados especialistas abrem possibilidades para tornar nossas aplicações ainda mais rápidas, seguras e escaláveis.

As novidades voltadas para Serverless e Microservices foram excelentes. Elas nos abrem possibilidades de tornar nossos produtos mais distribuídos e nosso processo de desenvolvimento mais produtivo.

A Bluesoft está constantemente trabalhando em inovações para oferecer a melhor e mais moderna tecnologia para sistemas de gestão de empresas para seus clientes. A AWS tem se mostrado um excelente e estratégico parceiro em nossa incansável busca por excelência.

Obrigado AWS!

Agradecimentos especiais a Eric Secco, Fernando Nogueira e Rodrigo Bessa que têm nos dado todo o apoio para que possamos usar os recursos da AWS da melhor forma possível e assim agregar mais valor para nossos clientes através do poder da computação em nuvem.

Quer saber mais sobre o AWS re:Invent?

Quer receber dicas de gestão e os últimos conteúdos da Bluesoft? Então inscreva-se em nossa newsletter no canto superior direito desta página.