A era dos robôs contadores

A era dos robôs contadores

Prestes a completar cinco anos, a ROIT, accountech especializada no atendimento a empresas optantes pelo regime tributário do Lucro Real, dará novos passos em 2021.

Com sede em Curitiba e clientes em todo o Brasil, a fintech de contabilidade projeta um faturamento de R$ 45 milhões, em 2021, ano em que começa a implantar sua solução inovadora, inédita e disruptiva para a gestão contábil, fiscal e financeira de médias e grandes empresas no Brasil e também no exterior. A ROIT também prevê atingir, até 2023, o valor de mercado de U$ 1 bilhão: marca que caracteriza a empresa como Unicórnio

Quem adianta é o próprio fundador e CEO da ROIT, Lucas Ribeiro, que explica que isso é fruto da consolidação de dois produtos – o ROIT Bank (para gestão contábil e financeira das organizações) e o ROIT People (para gestão de recursos humanos) – e da abertura de sua tecnologia ao mercado contábil, possibilitando que outros escritórios, de grande porte, também possam revolucionar seus mercados locais, de médias e grandes empresas, utilizando a Inteligência Artificial.

Os números dos robôs da ROIT impressionam: estão perto dos dois bilhões de cenários tributários gerados com Inteligência Artificial e mais de oito milhões de lançamentos contábeis feitos de maneira automática, com 98% de acuracidade. Cabe destacar que a ROIT inverteu o processo contábil clássico das empresas, o que é altamente inovador e só é viável graças à inteligência artificial e ao uso da robotização, RPA (robotic process automation).

Os resultados alcançados pela ROIT vêm de investimentos constantes em tecnologia, observa o executivo. Nas equipes de desenvolvimento de soluções tecnológicas, o quadro de pessoal praticamente triplicou em menos de um ano, sublinha Lucas Ribeiro. “Cresceu muito: saímos de 22 pessoas no time de desenvolvimento, em 2019, para mais de 70, em 2020”. Parte atua presencialmente, porém a maioria segue em home office. Além disso, e apesar da crise socioeconômica decorrente da pandemia de Covid-19, a empresa mantém um quadro com mais de 150 colaboradores e 30 vagas para profissionais altamente capacitados na área de tecnologia da informação (TI), sem possuir fundos de investimento, tudo com capital e giro do próprio negócio.

ROIT BANK E ROIT PEOPLE

Frutos do investimento constante em robotização e inteligência artificial são os produtos ROIT Bank e ROIT People – que representam novas frentes de atuação da ROIT e a caracterizam como accountech. São soluções que vão ao encontro de uma tendência que Lucas Ribeiro vem antecipando há um tempo: a de que escritórios e profissionais contábeis, devem atuar cada vez mais como gestores financeiros, estratégicos e de recursos humanos nas empresas, e não apenas como meros executores de processamentos contábeis.

“O ROIT Bank funciona como um ‘banco que contabiliza’. O ROIT People cuida da gestão e relacionamento com os recursos humanos da organização”, ilustra Ribeiro. Com isso, ele assinala que as empresas passam a se dedicar ao planejamento e decisões estratégicas a partir de números confiáveis e diários, e não mais a partir de uma contabilidade “espelho retrovisor”, arcaica, atrasada e ineficiente.

TRAJETÓRIA

Por fim, Lucas Ribeiro destaca a trajetória da ROIT neste primeiro meio decênio de vida. Estreando como “Especialista em Lucro Real” em 2016, com apenas 12 pessoas e em um ano de grave conturbação política e econômica no país, no exercício seguinte a empresa mudou para uma sede maior, ao expandir seu portfólio de clientes e sua equipe, passando de 70 pessoas.

Em 2018, atuou decisivamente nas discussões em torno de propostas de reforma tributária, abriu nova unidade em Brasília, iniciou o desenvolvimento próprio de soluções tecnológicas altamente inovadoras, com Inteligência Artificial e RPA, passando da marca de 100 colaboradores.

Em 2020, a ROIT se reposicionou no mercado, constituindo-se em uma accountech – isto é, desenvolvedora e fornecedora de soluções tecnológicas e altamente inovadoras, de serviços contábeis, fiscais, financeiros e de folha.

O Google agora deixa você cantar para encontrar aquela música que grudou na sua cabeça

O Google agora deixa você cantar para encontrar aquela música que grudou na sua cabeça

“Qual é aquela música que vai laaaa, laaa, la la la la laaa?” 

Se você já se pegou fazendo essa pergunta – e acho que é a maioria de nós, em algum momento ou outro – o Google tem um novo recurso para ajudar. 

Agora, os usuários de iOS e Android podem encontrar uma música simplesmente cantarolando a melodia relevante no Google app ou no widget Pesquisa. 

Basta tocar no ícone do microfone e dizer “que música é esta?” e comece a cantarolar por 10-15 segundos. Nenhuma letra, nome do artista ou qualquer outra coisa necessária – apenas não ser totalmente surdo, presumivelmente. 

O Google mostrará as opções mais prováveis com base em suas melodias. 

O serviço também funciona com o Google Assistente, embora não esteja claro se está disponível em outros serviços da empresa. 

O recurso vem como parte de uma série de atualizações de IA introduzidas na Pesquisa Google hoje. Você pode ler mais sobre isso na postagem do blog do Google  aqui . 

Tradução https://thenextweb.com/plugged/2020/10/15/google-now-lets-you-hum-to-find-that-song-stuck-in-your-head/

NVIDIA Enterprise cria supercomputador mais potente do Reino Unido, dedicado a pesquisa na área da saúde com IA

NVIDIA Enterprise cria supercomputador mais potente do Reino Unido, dedicado a pesquisa na área da saúde com IA

A NVIDIA Enterprise anuncia que está criando o supercomputador mais potente do Reino Unido, que será disponibilizado a pesquisadores locais da área da saúde que estão usando IA para resolver desafios médicos urgentes.

Com lançamento previsto para o final de 2020, o supercomputador Cambridge-1 terá um sistema NVIDIA DGX SuperPOD capaz de oferecer um desempenho de mais de 400 petaflops em tarefas de IA e 8 petaflops de desempenho no benchmark Linpack, o que garantiria a ele o 29º lugar na lista TOP500 mais atual de supercomputadores mais potentes do mundo. Ele também será um dos três supercomputadores com maior eficiência energética do mundo na lista GREEN500 atual.

Algumas das primeiras empresas farmacêuticas a usar o sistema para realizar pesquisas serão a GSK e a AstraZeneca. Os pesquisadores da Guy’s and St Thomas’s NHS Foundation Trust, da King’s College of London e da Oxford Nanopore, também pretendem aproveitar o Cambridge-1.

“É preciso ter recursos de computação extremamente potentes para aproveitar o potencial da IA e conseguir enfrentar os desafios mais urgentes da área da saúde”, afirma Jensen Huang, fundador e CEO da NVIDIA, em seu keynote na GPU Technology Conference. “O supercomputador Cambridge-1 funcionará como um hub de inovação para o Reino Unido, oferecendo aos maiores pesquisadores do país a possibilidade de realizar estudos que beneficiem a vida de milhões de pessoas.”

O Cambridge-1 é o primeiro passo para criar o centro de excelência em IA de Cambridge, anunciado pela NVIDIA no mês passado, que funcionará como um hub de colaboração para pesquisadores, cientistas e startups de IA de todo o Reino Unido. À medida que esses planos se desenvolvem, Cambridge-1 se tornará parte desse Centro de Excelência, que se expandirá para incluir mais supercomputadores e oferecer suporte a mais indústrias em todo o Reino Unido.

Foco em quatro áreas principais

O objetivo do sistema é apoiar e oferecer ainda mais recursos para o ecossistema de pesquisadores de saúde e ciências biomédicas, que se tornou um epicentro de pesquisas e descobertas transformadoras na área da saúde. O foco será em quatro áreas principais:

  • Pesquisa colaborativa do setor— será possível solucionar problemas da área da saúde e ciência de dados de grande escala, que não poderiam ser resolvidos devido a seu tamanho, gerando melhores resultados para os pacientes, taxas de sucesso mais altas e redução nos custos gerais da área da saúde.
  • Tempo de computação concedido pela universidade — o acesso ao tempo das GPUs NVIDIA será oferecido como um recurso para estudos específicos que contribuem para a procura de curas.
  • Apoio a startups de IA — a NVIDIA oferecerá oportunidades para aprender e colaborar com startups a fim de contribuir para a próxima geração e garantir acesso antecipado a ferramentas de IA.
  • Ensino a futuros profissionais de IA — o sistema funcionará como um centro para pesquisadores de todo o mundo e trará a oportunidade de oferecer experiências práticas para a próxima geração.

Supercomputador de IA Cambridge-1

O Cambridge-1 será o primeiro supercomputador da NVIDIA projetado e desenvolvido para ser acessado por pesquisadores externos. Com a tecnologia de 80 sistemas NVIDIA DGX A100 conectados pela rede NVIDIA Mellanox InfiniBand, ele oferecerá aos pesquisadores, alunos e professores universitários a capacidade de lidar tranquilamente com algumas das cargas de trabalho de treinamento, inferência e ciência de dados de IA mais desafiadoras em escala. Enquanto os supercomputadores tradicionais podem levar anos para serem implementados, a arquitetura modular DGX SuperPOD permite que o sistema seja instalado e comece a funcionar em algumas semanas. A NVIDIA investirá cerca de £40 milhões (US$ 51,7 milhões) no Cambridge-1. 

NVIDIA Clara para descoberta de medicamentos

A NVIDIA ajudará os pesquisadores a aproveitar as vantagens do  NVIDIA Clara Discovery™, um conjunto de ferramentas de última geração otimizado para NVIDIA DGX™ que reúne o poder da imagem, radiologia e genômica para desenvolver aplicativos de IA para as maiores tarefas computacionais de saúde.

Ele apresenta modelos de IA pré-treinados e estruturas específicas de aplicativos para ajudar os pesquisadores a definir a próxima geração de processos de descoberta de medicamentos, desde encontrar alvos até construir compostos e desenvolver respostas.

Usando uma inovação recente no processamento de linguagem conversacional, os pesquisadores agora podem aproveitar os modelos de linguagem específicos da biomedicina para organizar, compreender e ativar grandes conjuntos de dados, pesquisar literatura e classificar documentos ou patentes sobre tratamentos existentes e outros dados importantes do mundo real.

Desenvolvendo a pesquisa na área da saúde com os líderes do Reino Unido

As principais empresas farmacêuticas, startups, pesquisadores e membros da educação pretendem usar o Cambridge-1 para realizar projetos individuais e conjuntos que ampliam os horizontes da ciência, contribuindo para o melhor atendimento ao paciente, diagnósticos mais precisos e a disponibilização de medicamentos e vacinas fundamentais em todo o mundo. Cada uma delas tem uma visão da área da saúde moderna e a IA ajudará a realizar avanços maiores em relação aos protocolos e práticas existentes.

Dr. Hal Barron, diretor científico e presidente de pesquisa e desenvolvimento da GSK: “A IA e o machine learning são como um novo microscópio que ajudará os cientistas a ver as coisas que não conseguiam ver antes. Com o investimento da NVIDIA em computação, e a potência do deep learning, poderemos solucionar alguns dos maiores desafios do setor de ciências biomédicas e oferecer medicamentos e vacinas transformadores para os pacientes. Juntamente com o novo laboratório de IA da GSK em Londres, fico feliz em ver que essas tecnologias avançadas estejam disponíveis para ajudar os cientistas extraordinários do Reino Unido.”

James Weatherall, Ph.D., chefe de ciência de dados e IA da AstraZeneca: “O uso de big data, supercomputação e inteligência artificial têm o potencial de transformar a pesquisa e o desenvolvimento; desde a identificação do alvo, até a pesquisa clínica e todo o caminho até o lançamento de novos medicamentos.”

Sebastien Ourselin, diretor da Escola de Engenharia Biomédica e Imagiologia da King’s College London:  “Graças aos recentes avanços em IA, é possível usar modelos cada vez mais poderosos para realizar tarefas complexas, como o reconhecimento de imagens e a compreensão de linguagem conversacional. Esses modelos oferecem um desempenho incrível com uma capacidade de computação imensa, reunindo milhões de GPUs por modelo. Com essa parceria, pela primeira vez, uma capacidade de computação dessa escala será disponibilizada para pesquisas na área da saúde, o que será transformador para o setor e para o tratamento dos pacientes.”

Ian Abbs, diretor executivo e diretor médico da Guy’s and St Thomas’ NHS Foundation Trust: “Para a IA ser implementada em escala no atendimento ao paciente, a precisão, a potência e a segurança são de extrema importância. Precisamos garantir que os pesquisadores de IA tenham acesso aos maiores e mais amplos conjuntos de dados que o NHS tem a oferecer, nossa experiência clínica e a infraestrutura computacional necessária para entender os dados. Essa abordagem é necessária e a única forma ética de usar a IA na área da saúde. IA mais avançada significa melhor cuidado para nossos pacientes.”

Gordon Sanghera, CEO da Oxford Nanopore Technologies: “Com a IA compacta, é possível realizar o sequenciamento em tempo real na palma da mão, e os supercomputadores de IA estão possibilitando novas descobertas científicas em conjuntos de dados genômicos de grande escala. Essas inovações impressionantes na análise de dados contribuem para diversas pesquisas científicas importantes e interessantes no Reino Unido e nos ajudam, principalmente, a cumprir o objetivo de disponibilizar a análise genômica a todos e em qualquer lugar.”

Matt Hancock, Secretário de Estado de Saúde e Assistência Social: “O anúncio da NVIDIA é um momento empolgante para o setor de saúde líder mundial na região e um tremendo voto de confiança no Reino Unido como um centro internacional de pesquisa, IA e inovação. Acelerar a descoberta de medicamentos nunca foi tão importante e são investimentos como esses que podem fazer uma grande diferença em nossa luta contra inúmeras doenças. Preocupo-me com tecnologia porque me importo com as pessoas e o novo supercomputador da NVIDIA ajudará os melhores e mais brilhantes do Reino Unido a realizarem pesquisas que salvarão vidas.”

Sobre a NVIDIA

Com a invenção da GPU pela NVIDIA (NASDAQ: NVDA), em 1999, redefinimos os gráficos de computadores modernos e revolucionamos a computação paralela. Mais recentemente, o deep learning com base em GPU deu início à inteligência artificial moderna — a próxima era da computação — com a GPU atuando como o cérebro dos computadores, robôs e carros autônomos que podem perceber e compreender o mundo. Saiba mais em http://nvidianews.nvidia.com/

Contratos inteligentes: robôs aceleram processos de compra e venda

Contratos inteligentes: robôs aceleram processos de compra e venda

Hora do almoço. Você senta para repousar sob a sombra de uma árvore num gostoso dia de início de primavera, abre sua rede social preferida e lá está o anúncio do carro dos sonhos.

Quase sem pensar você acessa a publicidade que lhe leva a uma demonstração virtual do veículo, levando a decidir pela compra. Com um único click você informa sua decisão e recebe do algoritmo a confirmação do crédito e a indicação de qual dia e lugar você irá receber seu bem.

No referido dia você vai ao local indicado e, por meio do aplicativo, você abre a porta e, lá dentro, estão todos os documentos e um manual eletrônico que lhe informar intuitivamente tudo que você precisa saber sobre a máquina. Você aperta o botão de Start e sai dirigindo e curtindo toda a dopamina gerada pelo brinquedo novo.

Primeiro isso não é sonho. No YouTube você encontra o vídeo de um brasileiro, que mora em Chicago, registrando todos os passos da compra de um Tesla. Todo esse percurso, desde a contratação da rede social pelo fabricante do veículo até a entrega do produto, passou por Contratos Inteligentes fechados por algoritmos, sem intervenção humana.

Um código da Tesla contratou o da Rede Social, acordando pagar x se o anúncio fosse exibido e mais x caso fosse clicado. O algoritmo da rede realizou a tarefa no momento e com o usuário de maior chance de sucesso, gerando créditos para ele contra o sistema da montadora. Um contrato válido dentro do que prevê o Código Civil brasileiro celebrado sem intervenção humana.

O comprador, ao navegar no sistema da montadora e escolher como queria seu veículo, levou ao sistema da empresa a vasculhar suas concessionárias e estoques atrás do produto desejado. Não encontrando, ordenou a produção e, por trás desta ordem, programas de compras fecharam pedidos com fornecedores para serem pagos na entrada dos itens na esteira de produção. Quando da entrega o mesmo sistema automaticamente reconhece o evento e disparando o processo de pagamento ao fornecedor.

A fábrica, povoada de robôs, executa à montagem do carro e comunica a disponibilidade ao novo proprietário e contrata, também de forma automática, o responsável pelo transporte. Este leva a veículo até um endereço e o deposita lá, confirmando por dados do GPS a conclusão de sua tarefa.

O feliz dono de um Tesla novo vai até o local e, reconhecendo o felizardo pela posse do smartphone com autorização, o algoritmo abre a porta e conclui um contrato quase totalmente executado por programação.

A beleza deste modelo está no fato de ser iniciado e concluído, em vários pontos, sem se quer a presença de um ser humano. Uma modalidade onde os sujeitos de direito (que até então podemos definir como pessoas físicas ou jurídicas, a quem se pode imputar direitos e obrigações através da lei), em essência, são algoritmos.

Cada vez mais conviveremos com relações contratuais onde, do outro lado, ou de ambos os lados, estão máquinas, códigos, programas. Parte da nova realidade do mundo conectado que será cada vez mais absorvida pelas regras do direito dentro do chamado Direito Digital (ou Eletrônico).

Christiano Sobral é diretor-executivo do escritório Urbano Vitalino Advogados, especializado em marketing, economia e negócios

O que é o PyTorch ?

O que é o PyTorch ?

O que é o PyTorch ?

O PyTorch é uma biblioteca de aprendizado de máquina de código aberto baseada na biblioteca Torch, usada para aplicativos como visão computacional e processamento de linguagem natural. É desenvolvido principalmente pelo laboratório de Pesquisa AI do Facebook. É um software gratuito e de código aberto lançado sob a licença BSD modificada. Embora a interface Python seja mais polida e o foco principal do desenvolvimento, o PyTorch também possui uma interface C ++.

O PyTorch define uma classe chamada Tensor (torch.Tensor) para armazenar e operar em matrizes retangulares multidimensionais homogêneas de números. Os tensores PyTorch são semelhantes aos NumPy Arrays, mas também podem ser operados em uma GPU Nvidia compatível com CUDA. O PyTorch suporta vários subtipos de tensores.

Por que PyTorch ?

Como dissemos, o aprendizado profundo permite que você execute uma ampla gama de tarefas complicadas – como executar tradução automática, jogar jogos de estratégia e identificar objetos em cenários desorganizados – expondo seu modelo a exemplos ilustrativos. Para fazer isso no procedimento, você precisa de ferramentas flexíveis para que possam ser adaptadas ao seu problema específico e eficaz, para permitir que o treinamento ocorra com grandes quantidades de dados em tempos razoáveis. Você também precisa da rede treinada para executar corretamente na presença de incerteza nas entradas.

O PyTorch é fácil de recomendar devido à sua simplicidade.

Para usuários familiarizados com matrizes NumPy, a classe Tensor do PyTorch será imediatamente familiar. O PyTorch parece o NumPy, mas com a aceleração da CPU e o cálculo automático de gradientes, o que o torna adequado para o cálculo automático de dados de retrocesso a partir de uma expressão avançada.

A API do Tensor é tal que os recursos adicionais da classe relevantes para o aprendizado profundo são discretos; o usuário pode fingir que esses recursos não existem até que seja necessário.

A revolução do aprendizado profundo

Até o final de 2000, a classe mais ampla de sistemas que se enquadrava na categoria “aprendizado de máquina” dependia muito da engenharia de recursos. Recursos são transformações de dados de entrada, resultando em recursos numéricos que facilitam um algoritmo downstream, como um classificador, para produzir resultados corretos em novos dados. A engenharia de recursos visa obter os dados originais e apresentar representações dos mesmos dados que podem ser alimentados por um algoritmo para resolver um problema. Para distinguir zeros em imagens de dígitos manuscritos, por exemplo, você criaria um conjunto de filtros para estimar a direção das bordas sobre a imagem e depois treinaria um classificador para prever o dígito correto, dada a distribuição das direções das bordas . Outro recurso útil poderia ser o número de orifícios fechados em dois zero, oito ou particularmente em loop.

A aprendizagem profunda, por outro lado, lida com a localização automática de tais representações, a partir de dados brutos, para executar uma tarefa com êxito. No exemplo um-contra-zeros, os filtros seriam refinados durante o treinamento, observando iterativamente pares de exemplos e rótulos de destino.A capacidade de uma rede neural de ingerir dados e extrair representações úteis com base em exemplos, no entanto, é o que torna a aprendizagem profunda tão poderosa. O foco dos profissionais de aprendizagem profunda não é tanto o artesanato manual dessas representações, mas a operação em uma entidade matemática, para que ela descubra representações dos dados de treinamento autonomamente.

5 princípios de aprendizagem por reforço explicados pelo especialista em IA, Hadelin de Ponteves

5 princípios de aprendizagem por reforço explicados pelo especialista em IA, Hadelin de Ponteves

Quando as pessoas se referem à inteligência artificial , alguns pensam nela como aprendizado de máquina , enquanto outros pensam nisso como aprendizado profundo ou aprendizado por reforço, etc. Embora inteligência artificial seja um termo amplo que envolve aprendizado de máquina , o aprendizado por reforço é um tipo de aprendizado de máquina, portanto, um ramo da IA . Neste artigo, entenderemos os 5 princípios-chave do aprendizado por reforço com alguns exemplos simples.

O aprendizado por reforço permite que máquinas e agentes de software determinem automaticamente o comportamento ideal dentro de um contexto específico, a fim de maximizar seu desempenho. Ele é empregado por vários softwares e máquinas para encontrar o melhor comportamento possível ou caminho que deve seguir em uma situação específica.

Este artigo é um trecho do livro AI Crash Course escrito por Hadelin de Ponteves. Neste livro, Hadelin o ajuda a entender o que você realmente precisa para construir sistemas de IA com aprendizado por reforço. O livro envolve projetos descritivos e práticos para colocar ideias em ação e mostrar como construir um software inteligente passo a passo.

Embora o aprendizado por reforço seja de alguma forma uma forma de IA, o aprendizado de máquina não inclui o processo de ação e interação com um ambiente como nós, humanos, fazemos. Na verdade, como seres humanos inteligentes, o que constantemente fazemos é o seguinte:

  1. Observamos alguma entrada, seja o que vemos com nossos olhos, o que ouvimos com nossos ouvidos ou o que lembramos em nossa memória.
  2. Essas entradas são então processadas em nosso cérebro.
  3. Eventualmente, tomamos decisões e agimos.

Esse processo de interação com um ambiente é o que estamos tentando reproduzir em termos de inteligência artificial. E, nessa medida, o ramo da IA ​​que funciona nisso é o aprendizado por reforço. Esta é a combinação mais próxima de como pensamos; a forma mais avançada de inteligência artificial, se virmos a IA como a ciência que tenta imitar (ou superar) a inteligência humana.

Os princípios de aprendizagem por reforço também apresentam os resultados mais impressionantes em aplicações de negócios de IA. Por exemplo, o Alibaba aproveitou o aprendizado por reforço para aumentar seu ROI em publicidade online em 240%, sem aumentar seu orçamento de publicidade.

Cinco princípios de aprendizagem por reforço

Vamos começar a construir os primeiros pilares de sua intuição sobre como funciona o aprendizado por reforço. Esses são os princípios fundamentais de aprendizado por reforço, que o ajudarão a começar com os fundamentos sólidos e corretos de IA.

Aqui estão os cinco princípios:

  • Princípio # 1: O sistema de entrada e saída
  • Princípio 2: A recompensa
  • Princípio # 3: O ambiente de IA
  • Princípio 4: O processo de decisão de Markov
  • Princípio # 5: Treinamento e inferência

Princípio # 1 – O sistema de entrada e saída

O primeiro passo é entender que hoje, todos os modelos de IA são baseados no princípio comum de entrada e saída. Cada forma de inteligência artificial, incluindo modelos de aprendizado de máquina, chatBots, sistemas de recomendação, robôs e, claro, modelos de aprendizado por reforço, receberá algo como entrada e retornará outra coisa como saída.

Figura 1: O sistema de entrada e saída

Na aprendizagem por reforço, esta entrada e saída têm um nome específico: a entrada é chamada de estado, ou estado de entrada. A saída é a ação realizada pelo AI. E no meio, não temos nada além de uma função que assume um estado como entrada e retorna uma ação como saída. Essa função é chamada de política. Lembre-se do nome, “política”, porque você o verá com frequência na literatura de IA.

Como exemplo, considere um carro que dirige sozinho. Tente imaginar qual seria a entrada e a saída nesse caso.

A entrada seria o que o sistema de visão computacional embutido vê, e a saída seria o próximo movimento do carro: acelerar, desacelerar, virar à esquerda, virar à direita ou frear. Observe que a saída a qualquer momento ( t ) pode muito bem ser várias ações realizadas ao mesmo tempo. Por exemplo, o carro que dirige sozinho pode acelerar enquanto ao mesmo tempo vira à esquerda. Da mesma forma, a entrada em cada tempo ( t ) pode ser composta por vários elementos: principalmente a imagem observada pelo sistema de visão computacional, mas também alguns parâmetros do carro como a velocidade da corrente, a quantidade de gás remanescente no tanque, e assim por diante.

Esse é o primeiro princípio importante da inteligência artificial: é um sistema inteligente (uma política) que recebe alguns elementos como entrada, faz sua mágica no meio e retorna algumas ações para executar como saída. Lembre-se de que as entradas também são chamadas de estados .

Princípio 2 – A recompensa

Cada IA ​​tem seu desempenho medido por um sistema de recompensa. Não há nada de confuso nisso; a recompensa é simplesmente uma métrica que dirá à IA se ela se saiu bem ao longo do tempo.

O exemplo mais simples é uma recompensa binária: 0 ou 1. Imagine um AI que tem que adivinhar um resultado. Se a estimativa estiver certa, a recompensa será 1, e se a estimativa estiver errada, a recompensa será 0. Este poderia muito bem ser o sistema de recompensa definido para uma IA; realmente pode ser tão simples quanto isso!

Uma recompensa não precisa ser binária, no entanto. Pode ser contínuo. Considere o famoso jogo Breakout :

Figura 2: o jogo Breakout

Imagine um AI jogando este jogo. Tente descobrir qual seria a recompensa nesse caso. Pode ser simplesmente a pontuação; mais precisamente, a pontuação seria a recompensa acumulada ao longo do tempo em um jogo, e as recompensas poderiam ser definidas como o derivado dessa pontuação.

Esta é uma das muitas maneiras de definir um sistema de recompensa para esse jogo. Diferentes IAs terão diferentes estruturas de recompensa; construiremos cinco sistemas de recompensas para cinco aplicativos diferentes do mundo real neste livro.

Com isso em mente, lembre-se também: o objetivo final da IA ​​sempre será maximizar a recompensa acumulada ao longo do tempo.

Esses são os dois primeiros princípios básicos, mas fundamentais, da inteligência artificial tal como existe hoje; o sistema de entrada e saída e a recompensa.

Princípio # 3 – ambiente de IA

O terceiro princípio de aprendizagem por reforço envolve um “ambiente de IA”. É uma estrutura muito simples, onde você definirá três coisas a cada vez ( t ):

  • A entrada (o estado)
  • A saída (a ação)
  • A recompensa (a métrica de desempenho)

Para cada IA ​​baseada na aprendizagem por reforço que é construída hoje, sempre definimos um ambiente composto pelos elementos anteriores. É, no entanto, importante entender que existem mais do que esses três elementos em um determinado ambiente de IA.

Por exemplo, se você estiver construindo uma IA para vencer um jogo de corrida de carros, o ambiente também conterá o mapa e a jogabilidade desse jogo. Ou, no exemplo de um carro que dirige sozinho, o ambiente também conterá todas as estradas ao longo das quais a IA está dirigindo e os objetos que circundam essas estradas. Mas o que você sempre encontrará em comum ao construir qualquer IA são os três elementos de estado, ação e recompensa.

Princípio nº 4 – O processo de decisão de Markov

O processo de decisão Markov, ou MDP, é simplesmente um processo que modela como a IA interage com o ambiente ao longo do tempo. O processo começa em t = 0 e, em seguida, a cada iteração seguinte, ou seja, t = 1, t = 2, … t = n unidades de tempo (onde a unidade pode ser qualquer coisa, por exemplo, 1 segundo), o AI segue o mesmo formato de transição:

  1. O AI observa o estado atual, t
  2. A IA executa a ação, t
  3. O AI recebe a recompensa, = R (s , a )
  4. O AI entra no seguinte estado, t + 1
  5. O objetivo da IA ​​é sempre o mesmo na aprendizagem por reforço: é maximizar as recompensas acumuladas ao longo do tempo, ou seja, a soma de todos os = R (s , a ) recebidos em cada transição. recebido em cada transição.

O gráfico a seguir o ajudará a visualizar e lembrar melhor um MDP, a base dos modelos de aprendizagem por reforço:

Figura 3: O processo de decisão de Markov

Agora, quatro pilares essenciais já estão moldando sua intuição de IA. Adicionar um último e importante completa a base de sua compreensão da IA. O último princípio é treinamento e inferência; no treinamento, a IA aprende e, na inferência, prevê.

Princípio # 5 – Treinamento e inferência

O princípio final que você deve entender é a diferença entre treinamento e inferência. Ao construir uma IA, há um tempo para o modo de treinamento e um tempo separado para o modo de inferência. Vou explicar o que isso significa começando com o modo de treinamento.

Modo de treinamento

Agora você entende, a partir dos três primeiros princípios, que a primeira etapa da construção de uma IA é construir um ambiente no qual os estados de entrada, as ações de saída e um sistema de recompensas sejam claramente definidos. A partir do quarto princípio, você também entende que dentro desse ambiente será construída uma IA que interage com ela, tentando maximizar a recompensa total acumulada ao longo do tempo.

Para simplificar, haverá um período preliminar (e longo) durante o qual a IA será treinada para fazer isso. Esse período é chamado de treinamento; também podemos dizer que o AI está em modo de treinamento. Durante esse tempo, a IA tenta realizar um determinado objetivo repetidamente até ter sucesso. Após cada tentativa, os parâmetros do modelo de IA são modificados para melhor desempenho na próxima tentativa.

Modo de inferência

O modo de inferência simplesmente surge depois que sua IA está totalmente treinada e pronta para um bom desempenho. Ele simplesmente consistirá em interagir com o ambiente executando as ações para cumprir a meta para a qual a IA foi treinada antes no modo de treinamento. No modo de inferência, nenhum parâmetro é modificado ao final de cada episódio.

Por exemplo, imagine que você tem uma empresa de IA que desenvolve soluções de IA personalizadas para empresas e um de seus clientes pediu que você construísse uma IA para otimizar os fluxos em uma rede inteligente. Primeiro, você entraria em uma fase de P&D durante a qual treinaria sua IA para otimizar esses fluxos (modo de treinamento) e, assim que atingir um bom nível de desempenho, entregaria sua IA ao seu cliente e entraria em produção . Sua IA regularia os fluxos na rede elétrica inteligente apenas observando os estados atuais da rede e realizando as ações para as quais foi treinada. Esse é o modo de inferência.

Às vezes, o ambiente está sujeito a mudanças; nesse caso, você deve alternar rapidamente entre os modos de treinamento e inferência para que sua IA possa se adaptar às novas mudanças no ambiente. Uma solução ainda melhor é treinar seu modelo de IA todos os dias e entrar no modo de inferência com o modelo treinado mais recentemente. Esse foi o último princípio fundamental comum a toda IA.

Para resumir, exploramos os cinco princípios-chave de aprendizagem por reforço que envolvem o sistema de entrada e saída, um sistema de recompensa, ambiente de IA, processo de decisão de Markov, treinamento e modo de inferência para IA.

Materia traduzida do Inglês de site Packt

×

Olá!

Clique em um de nossos representantes abaixo para bater um papo no WhatsApp ou envie um e-mail para contato@tempodeinovacao.com.br

× Como posso te ajudar?