A diferença entre cientistas de dados e engenheiros de ML

A diferença entre cientistas de dados e engenheiros de ML

Freqüentemente, há confusão entre as funções de Cientistas de Dados e Engenheiros de Machine Learning. Embora eles certamente trabalhem juntos amigavelmente e desfrutem de alguma sobreposição no que diz respeito a expertise e experiência, as duas funções têm finalidades bastante diferentes.

Essencialmente, estamos diferenciando entre cientistas que buscam entender a ciência por trás de seu trabalho e engenheiros que buscam construir algo que possa ser acessado por outras pessoas. Ambas as funções são extremamente importantes e, em algumas empresas, são intercambiáveis ​​- por exemplo, os cientistas de dados em certas organizações podem realizar o trabalho de um engenheiro de aprendizado de máquina e vice-versa.

Para tornar a distinção clara, dividirei as diferenças em 3 categorias; 

1) Responsabilidades

2) Experiência

3) Expectativas de salário.

Responsabilidades

Os cientistas de dados seguem o processo de ciência de dados, que também pode ser conhecido como fluxo de trabalho de Blitzstein e Pfister. Blitzstein e Pfister criaram inicialmente a estrutura para ensinar aos alunos do   curso Harvard CS 109 como abordar problemas de Ciência de Dados.

O processo de ciência de dados consiste em 5 fases principais

  • Etapa 1:  Compreendendo o problema de negócios
  • Etapa 2:  coleta de dados
  • Etapa 3:  limpeza e exploração de dados
  • Etapa 4:  construção de modelo
  • Etapa 5:  comunicar e visualizar insights

A maior parte do trabalho realizado por Cientistas de Dados é no ambiente de pesquisa. Nesse ambiente, os cientistas de dados realizam tarefas para entender melhor os dados para que possam construir modelos que capturem melhor os padrões inerentes aos dados. Depois de construir um modelo, a próxima etapa é avaliar se ele atende ao resultado desejado do projeto. Caso contrário, eles repetirão iterativamente o processo até que o modelo atinja o resultado desejado antes de entregá-lo aos engenheiros de aprendizado de máquina.

Os engenheiros de aprendizado de máquina são responsáveis ​​por criar e manter a infraestrutura de aprendizado de máquina que lhes permite implantar os modelos desenvolvidos por cientistas de dados em um ambiente de produção. Portanto, os engenheiros de aprendizado de máquina normalmente trabalham no ambiente de desenvolvimento, que é onde eles se preocupam em reproduzir o pipeline de aprendizado de máquina criado por cientistas de dados no ambiente de pesquisa. E trabalham no ambiente de produção, onde o modelo é disponibilizado para outros sistemas de software e / ou clientes.

Essencialmente, os engenheiros de aprendizado de máquina são responsáveis ​​pela manutenção da infraestrutura de ML que lhes permite implantar e dimensionar os modelos construídos pelos cientistas de dados. E os cientistas de dados são usuários da infraestrutura de aprendizado de máquina construída pelo engenheiro de aprendizado de máquina.

Perícia

 A razão pela qual as pessoas estão confusas sobre as diferenças entre as duas funções é que há muitos lugares onde suas habilidades se sobrepõem. Por exemplo, tanto os cientistas de dados quanto os engenheiros de aprendizado de máquina devem ter um bom conhecimento de;

  • Aprendizagem supervisionada e não supervisionada
  • Aprendizado de máquina e modelagem preditiva
  • Matemática e Estatística
  • Python (ou R)

As principais sobreposições entre as funções resultaram em algumas organizações, particularmente organizações menores e startups, fundindo as funções em uma. Assim, algumas organizações têm cientistas de dados fazendo o trabalho de engenheiros de aprendizado de máquina e outras têm engenheiros de aprendizado de máquina fazendo o trabalho de cientistas de dados. Apenas levando a mais confusão entre os praticantes.

No entanto, existem algumas diferenças importantes entre os conhecimentos necessários para cada função.

Os cientistas de dados costumam ser excelentes contadores de histórias de dados. Alguns argumentariam que essa característica os torna muito mais criativos do que os engenheiros de aprendizado de máquina. Outra diferença é que os cientistas de dados podem usar ferramentas como PowerBI e Tableau para compartilhar ideias com os negócios, e eles não precisam necessariamente usar o aprendizado de máquina.

Os casais que compensam as deficiências do parceiro geralmente são mais fortes. Quando você pensa assim, a experiência mencionada acima pode ser um ponto fraco para o engenheiro de Aprendizado de Máquina, que deve ter uma base sólida em ciência da computação e engenharia de software. Espera-se que os engenheiros de aprendizado de máquina conheçam estruturas de dados e algoritmos e compreendam os componentes fundamentais que entram na criação de software de entrega.

Com isso dito, não é incomum para um engenheiro de aprendizado de máquina ter um bom domínio de outra linguagem de programação, como Java, C ++ ou Julia.

Expectativas salariais

 Determinar as expectativas exatas de salário é difícil. Os salários em ambas as funções variam com base em uma variedade de fatores, como a quantidade de experiência que você tem, as qualificações que possui, o local em que está baseado e o setor em que trabalha.

As organizações também devem oferecer benefícios variados. Independentemente da função, você receberá um convite para ingressar no plano de pensão da empresa, trabalho flexível ou remoto, bônus por desempenho e seguro médico privado.

No Reino Unido (UK):

  • Um  jovem cientista de dados  pode esperar um início na faixa de  £ 25.000 – £ 30.000  (pode aumentar para £ 40.000 dependendo da experiência). [ Fonte :  Perspectivas ]. Um  graduado  ou  engenheiro de aprendizado de máquina de nível básico  pode esperar um salário inicial de  £ 35.000 – £ 40.000 . [ Fonte :  Prospects ]
  • De acordo com a  Glassdoor , o  salário médio de um cientista de dados  no Reino Unido é de  £ 46.818.  As perspectivas  afirmam que o  salário médio de um Engenheiro de Aprendizado de Máquina  no Reino Unido é de  £ 52.000
  • De acordo com a  Prospects , os  cientistas líderes e chefes de dados  podem ganhar algo acima de  £ 60.000  (ultrapassando £ 100.000 em alguns casos). Em contraste,  engenheiros de aprendizado de máquina mais experientes  podem esperar ganhar até  £ 170.000  (especialmente se trabalharem para uma empresa multinacional como o Google ou o Facebook) [ Fonte :  Prospects ]

Estados Unidos da América (EUA):

  • O  salário-base médio de um cientista de dados  nos EUA é de  US $ 120.089  [ Fonte :  De fato ]. Em contraste, o  salário-base médio de um engenheiro de aprendizado de máquina  nos EUA é de  US $ 150.660  [ Fonte :  De fato ].

No geral, é justo dizer que os engenheiros de aprendizado de máquina geralmente recebem mais do que os cientistas de dados em geral, em média.

Pensamentos finais

 Apesar das semelhanças entre as funções, os cientistas de dados e os engenheiros de aprendizado de máquina são bastante diferentes em relação às suas responsabilidades, especialização e ganhos. Da maioria das entrevistas que ouvi sobre o assunto, muitos dizem que a transição de Cientistas de Dados para Engenheiros de Aprendizado de Máquina é muito mais difícil do que a transição de Engenheiro de Aprendizado de Máquina para Cientistas de Dados. Isso ocorre porque os cientistas de dados geralmente não são proficientes em fundamentos de engenharia de software e ciência da computação, o que é uma grande curva de aprendizado.

Obrigado pela leitura!

O maior centro de pesquisa em inteligência artificial do país

O maior centro de pesquisa em inteligência artificial do país

Está em São Paulo, mais precisamente na Universidade de São Paulo (USP), o maior centro de pesquisa em inteligência artificial (IA). O  Center for Artificial Intelligence – “C4AI”, foi aprovado no ano passado, em um acordo que terá 10 anos de duração e receberá até US$ 2 milhões em financiamentos: US$ 500 reservados por IBM e FAPESP, cada, e até US$ 1 milhão por parte da USP que foi aplicado em instalações físicas, laboratórios, professores, técnicos e administradores para gerir o Centro. 

Focado na pesquisa em saúde, agronegócio, meio ambiente, futuro do trabalho, bem-estar humano, diversidade e desenvolvimento da PNL (Processamento de linguagem natural) em português. O investimento no centro deve chegar a US$ 20 milhões na próxima década. O C4AI é o primeiro centro da América Latina que fará parte do IBM IA Horizons Network (IAHN), iniciativa criada em 2016 para promover a integração e a colaboração entre as principais universidades do mundo, estudantes e pesquisadores da IBM comprometidos em acelerar a aplicação de IA. 

Sua localização principal é no campus da USP em São Paulo, embora uma segunda instalação esteja planejada no Instituto de Ciências Matemáticas e da Computação do campus da USP em São Carlos. 

O governo do Brasil divulgou planos para desenvolver uma estratégia nacional de IA em dezembro e 2019, à medida que busca competir e atender à necessidade mundial de liderança, tecnologias e ética aplicada em IA. 

Para conhecer mais: http://c4ai.inova.usp.br/pt/home-2/

Robôs rastreadores ajudam a melhorar os resultados das empresas

Robôs rastreadores ajudam a melhorar os resultados das empresas

O princípio essencial da tecnologia é tornar a vida das pessoas mais fácil e prática, dando tempo para focar em tarefas que realmente são fundamentais. Pensando nos últimos vinte anos, quantas funções que antes precisavam de uma ou várias pessoas, hoje são feitas em minutos por uma máquina ou computador? E o celular substituiu quantos equipamentos, colocando todos eles em um pequeno retângulo de metal?

Com o advento da internet, estamos vivendo a chamada “Era da Informação”, onde tudo está conectado, qualquer conteúdo pode ser encontrado em segundos. Nas indústrias, a digitalização dos processos tornou o trabalho mais eficiente, necessitando, muitas vezes, apenas de pessoas para configurar os equipamentos.

Vários setores foram impactados com a chegada dos “robôs”: a agricultura, que é um dos pilares da sobrevivência humana, por exemplo, também vem aderindo à inovação. Plantar, colher e adubar já são funções que podem ser desempenhadas por máquinas. Diante desse cenário, é fundamental compreender que, cada vez mais, a tecnologia se torna indispensável.

Mas diante dessas transformações todas, será que o departamento de vendas também se adaptou aos novos tempos? Será que a tecnologia está realmente gerando todas essas facilidades também para os profissionais da área comercial?

Algoritmos e os robôs “caçadores” de informação

Diante dessa transformação tão acelerada, há quem imagine que os processos de digitalização e automação serão algo distópico, como em diversos filmes do cinema onde a inteligência artificial se revolta e quer destruir a humanidade. Porém, é preciso ter calma. No mundo real, esses robozinhos já estão muito presentes no cotidiano – e, ao contrário de perigosos, são muito úteis.

Sabe quando você começa a interagir muito com alguém no Instagram e as publicações dessa pessoa passam a aparecer com mais frequência? Ou quando você quer trocar de celular, pesquisa uma vez e, depois disso, começam a aparecer centenas de propagandas, como se a internet adivinhasse o que você quer comprar? É assim, por exemplo, que funcionam os algoritmos. E o nome desse processo é remarketing.

Todas as redes sociais e o ambiente digital de um modo geral se utilizam dos algoritmos. São softwares que identificam as informações desejadas, de acordo com sua configuração, para entregar ao usuário uma experiência mais personalizada e tornar a utilização de programas e aplicativos mais eficaz, seja para fins pessoais ou de trabalho.

Dentre os algoritmos, existem os crawlers, que na tradução literal significa “rastreador”. Eles são os responsáveis por identificar e processar dados e páginas da internet, a fim de criar uma base segura e atualizada de informações. Esse tipo de robô é muito utilizado pelos chamados “motores de busca”, ou os sites de pesquisa. Esse processo é feito para coletar informações e depois mapeá-las, tornando as pesquisas mais precisas e eficientes.

Em termos técnicos, os crawlers ou bots, fazem uma varredura em toda a internet, página por página, através de links, e promovem o processamento e indexação, de acordo com a função para a qual aquele sistema foi designado na sua criação. Também é possível desenvolver os próprios crawlers, programados com uma finalidade específica e que podem ser a base para estruturar uma ferramenta digital.

Foi o que fez a Speedio, plataforma de big data para geração de leads B2B, que provê dados para prospecção ativa de clientes (marketing outbound). Para entregar essa base de dados, são desenvolvidos diversos crawlers, com diferentes utilidades, pensando em entregar dados e informações que podem ser fundamentais para as empresas encontrarem potenciais clientes e seus respectivos contatos.

Robôs a serviço das empresas

Investigar a internet em busca de informações-chave para identificar o seu cliente ideal é um grande trunfo para encontrar oportunidades de negócios. Diogo Públio, cofundador da Speedio, explica como esses robôs agem. “Imagine que existem formas de descobrir informações riquíssimas sobre as empresas por meio de dados que elas voluntariamente colocam na internet. Qual CRM é usado? ERP? A empresa faz e-commerce? Será que ela utiliza um software de automação de marketing? Que provedor de cloud é utilizado por ela? Tudo isso pode ser monitorado”, argumenta.

Cada uma dessas características entrega uma informação extremamente importante para quem está vendendo produtos ou serviços relacionados a esses pontos. Ou seja, ter acesso a essas informações pode fazer com que empresas saibam exatamente o que oferecer ao cliente. “Metaforicamente, é quando você oferece comida japonesa para quem está, naquele dia, desejando comer sushi.”, complementa Publio.

Colocando um exemplo prático fora do universo dos softwares: digamos que uma empresa de construção civil vença uma licitação para uma obra pública. A partir deste momento, a empresa precisará de insumos para aquele contrato. Para auxiliar produtores/revendedores de materiais de construção, crawlers podem identificar os empreendimentos que venceram a licitação, e por conseguinte facilitar a venda de insumos para esses negócios que certamente precisarão desses materiais. 

O fundador da Speedio faz outra analogia do funcionamento dos crawlers com o de aplicativos de GPS. “Assim como o Waze busca, em tempo real, onde há congestionamento, acidentes e informações para entregar a melhor rota naquele momento específico, a Speedio, com os seus crawlers, dá o ‘atalho’ e mapeia segmento, tamanho, situação e diversos detalhes das empresas, possibilitando uma prospecção mais assertiva”, comenta.

O sistema é tão preciso que possibilita refinar informações como o nível de sustentabilidade das empresas, insumos utilizados no processo de produção, entre tantos outros. Diogo conta que, recentemente, a Speedio programou seus “robôs rastreadores” para mapearem todas as startups no Brasil e criou um banco de dados inédito sobre o setor.

Cada vez mais, os crawlers evoluem e servem de ferramenta para inúmeros objetivos e podem ajudar muitas pessoas em diversas tarefas do cotidiano online e, também das empresas, otimizando informações e agilizando processos que, há alguns anos, poderiam levar meses para serem concluídos.

Sobre a Speedio

A Speedio é uma plataforma de big data para geração de leads B2B que tem como missão facilitar o trabalho de prospecção ativa/marketing outbound. A empresa utiliza ferramentas como Big Data, Inteligência Artificial e robôs (crawlers) para captar, analisar e validar as informações.

O banco de dados da Speedio possui informações de milhões de empresas instaladas no Brasil. Ao todo, são mais de 70 filtros, com informações como atividade, localização, porte, número de colaboradores, faturamento real e estimado, telefones, e-mails e mais.

Através do sistema de Inteligência Comercial fornecido pela Speedio os departamentos de vendas das empresas podem encontrar mais rapidamente os decisores e focar em vender.

O Google agora deixa você cantar para encontrar aquela música que grudou na sua cabeça

O Google agora deixa você cantar para encontrar aquela música que grudou na sua cabeça

“Qual é aquela música que vai laaaa, laaa, la la la la laaa?” 

Se você já se pegou fazendo essa pergunta – e acho que é a maioria de nós, em algum momento ou outro – o Google tem um novo recurso para ajudar. 

Agora, os usuários de iOS e Android podem encontrar uma música simplesmente cantarolando a melodia relevante no Google app ou no widget Pesquisa. 

Basta tocar no ícone do microfone e dizer “que música é esta?” e comece a cantarolar por 10-15 segundos. Nenhuma letra, nome do artista ou qualquer outra coisa necessária – apenas não ser totalmente surdo, presumivelmente. 

O Google mostrará as opções mais prováveis com base em suas melodias. 

O serviço também funciona com o Google Assistente, embora não esteja claro se está disponível em outros serviços da empresa. 

O recurso vem como parte de uma série de atualizações de IA introduzidas na Pesquisa Google hoje. Você pode ler mais sobre isso na postagem do blog do Google  aqui . 

Tradução https://thenextweb.com/plugged/2020/10/15/google-now-lets-you-hum-to-find-that-song-stuck-in-your-head/

5 princípios de aprendizagem por reforço explicados pelo especialista em IA, Hadelin de Ponteves

5 princípios de aprendizagem por reforço explicados pelo especialista em IA, Hadelin de Ponteves

Quando as pessoas se referem à inteligência artificial , alguns pensam nela como aprendizado de máquina , enquanto outros pensam nisso como aprendizado profundo ou aprendizado por reforço, etc. Embora inteligência artificial seja um termo amplo que envolve aprendizado de máquina , o aprendizado por reforço é um tipo de aprendizado de máquina, portanto, um ramo da IA . Neste artigo, entenderemos os 5 princípios-chave do aprendizado por reforço com alguns exemplos simples.

O aprendizado por reforço permite que máquinas e agentes de software determinem automaticamente o comportamento ideal dentro de um contexto específico, a fim de maximizar seu desempenho. Ele é empregado por vários softwares e máquinas para encontrar o melhor comportamento possível ou caminho que deve seguir em uma situação específica.

Este artigo é um trecho do livro AI Crash Course escrito por Hadelin de Ponteves. Neste livro, Hadelin o ajuda a entender o que você realmente precisa para construir sistemas de IA com aprendizado por reforço. O livro envolve projetos descritivos e práticos para colocar ideias em ação e mostrar como construir um software inteligente passo a passo.

Embora o aprendizado por reforço seja de alguma forma uma forma de IA, o aprendizado de máquina não inclui o processo de ação e interação com um ambiente como nós, humanos, fazemos. Na verdade, como seres humanos inteligentes, o que constantemente fazemos é o seguinte:

  1. Observamos alguma entrada, seja o que vemos com nossos olhos, o que ouvimos com nossos ouvidos ou o que lembramos em nossa memória.
  2. Essas entradas são então processadas em nosso cérebro.
  3. Eventualmente, tomamos decisões e agimos.

Esse processo de interação com um ambiente é o que estamos tentando reproduzir em termos de inteligência artificial. E, nessa medida, o ramo da IA ​​que funciona nisso é o aprendizado por reforço. Esta é a combinação mais próxima de como pensamos; a forma mais avançada de inteligência artificial, se virmos a IA como a ciência que tenta imitar (ou superar) a inteligência humana.

Os princípios de aprendizagem por reforço também apresentam os resultados mais impressionantes em aplicações de negócios de IA. Por exemplo, o Alibaba aproveitou o aprendizado por reforço para aumentar seu ROI em publicidade online em 240%, sem aumentar seu orçamento de publicidade.

Cinco princípios de aprendizagem por reforço

Vamos começar a construir os primeiros pilares de sua intuição sobre como funciona o aprendizado por reforço. Esses são os princípios fundamentais de aprendizado por reforço, que o ajudarão a começar com os fundamentos sólidos e corretos de IA.

Aqui estão os cinco princípios:

  • Princípio # 1: O sistema de entrada e saída
  • Princípio 2: A recompensa
  • Princípio # 3: O ambiente de IA
  • Princípio 4: O processo de decisão de Markov
  • Princípio # 5: Treinamento e inferência

Princípio # 1 – O sistema de entrada e saída

O primeiro passo é entender que hoje, todos os modelos de IA são baseados no princípio comum de entrada e saída. Cada forma de inteligência artificial, incluindo modelos de aprendizado de máquina, chatBots, sistemas de recomendação, robôs e, claro, modelos de aprendizado por reforço, receberá algo como entrada e retornará outra coisa como saída.

Figura 1: O sistema de entrada e saída

Na aprendizagem por reforço, esta entrada e saída têm um nome específico: a entrada é chamada de estado, ou estado de entrada. A saída é a ação realizada pelo AI. E no meio, não temos nada além de uma função que assume um estado como entrada e retorna uma ação como saída. Essa função é chamada de política. Lembre-se do nome, “política”, porque você o verá com frequência na literatura de IA.

Como exemplo, considere um carro que dirige sozinho. Tente imaginar qual seria a entrada e a saída nesse caso.

A entrada seria o que o sistema de visão computacional embutido vê, e a saída seria o próximo movimento do carro: acelerar, desacelerar, virar à esquerda, virar à direita ou frear. Observe que a saída a qualquer momento ( t ) pode muito bem ser várias ações realizadas ao mesmo tempo. Por exemplo, o carro que dirige sozinho pode acelerar enquanto ao mesmo tempo vira à esquerda. Da mesma forma, a entrada em cada tempo ( t ) pode ser composta por vários elementos: principalmente a imagem observada pelo sistema de visão computacional, mas também alguns parâmetros do carro como a velocidade da corrente, a quantidade de gás remanescente no tanque, e assim por diante.

Esse é o primeiro princípio importante da inteligência artificial: é um sistema inteligente (uma política) que recebe alguns elementos como entrada, faz sua mágica no meio e retorna algumas ações para executar como saída. Lembre-se de que as entradas também são chamadas de estados .

Princípio 2 – A recompensa

Cada IA ​​tem seu desempenho medido por um sistema de recompensa. Não há nada de confuso nisso; a recompensa é simplesmente uma métrica que dirá à IA se ela se saiu bem ao longo do tempo.

O exemplo mais simples é uma recompensa binária: 0 ou 1. Imagine um AI que tem que adivinhar um resultado. Se a estimativa estiver certa, a recompensa será 1, e se a estimativa estiver errada, a recompensa será 0. Este poderia muito bem ser o sistema de recompensa definido para uma IA; realmente pode ser tão simples quanto isso!

Uma recompensa não precisa ser binária, no entanto. Pode ser contínuo. Considere o famoso jogo Breakout :

Figura 2: o jogo Breakout

Imagine um AI jogando este jogo. Tente descobrir qual seria a recompensa nesse caso. Pode ser simplesmente a pontuação; mais precisamente, a pontuação seria a recompensa acumulada ao longo do tempo em um jogo, e as recompensas poderiam ser definidas como o derivado dessa pontuação.

Esta é uma das muitas maneiras de definir um sistema de recompensa para esse jogo. Diferentes IAs terão diferentes estruturas de recompensa; construiremos cinco sistemas de recompensas para cinco aplicativos diferentes do mundo real neste livro.

Com isso em mente, lembre-se também: o objetivo final da IA ​​sempre será maximizar a recompensa acumulada ao longo do tempo.

Esses são os dois primeiros princípios básicos, mas fundamentais, da inteligência artificial tal como existe hoje; o sistema de entrada e saída e a recompensa.

Princípio # 3 – ambiente de IA

O terceiro princípio de aprendizagem por reforço envolve um “ambiente de IA”. É uma estrutura muito simples, onde você definirá três coisas a cada vez ( t ):

  • A entrada (o estado)
  • A saída (a ação)
  • A recompensa (a métrica de desempenho)

Para cada IA ​​baseada na aprendizagem por reforço que é construída hoje, sempre definimos um ambiente composto pelos elementos anteriores. É, no entanto, importante entender que existem mais do que esses três elementos em um determinado ambiente de IA.

Por exemplo, se você estiver construindo uma IA para vencer um jogo de corrida de carros, o ambiente também conterá o mapa e a jogabilidade desse jogo. Ou, no exemplo de um carro que dirige sozinho, o ambiente também conterá todas as estradas ao longo das quais a IA está dirigindo e os objetos que circundam essas estradas. Mas o que você sempre encontrará em comum ao construir qualquer IA são os três elementos de estado, ação e recompensa.

Princípio nº 4 – O processo de decisão de Markov

O processo de decisão Markov, ou MDP, é simplesmente um processo que modela como a IA interage com o ambiente ao longo do tempo. O processo começa em t = 0 e, em seguida, a cada iteração seguinte, ou seja, t = 1, t = 2, … t = n unidades de tempo (onde a unidade pode ser qualquer coisa, por exemplo, 1 segundo), o AI segue o mesmo formato de transição:

  1. O AI observa o estado atual, t
  2. A IA executa a ação, t
  3. O AI recebe a recompensa, = R (s , a )
  4. O AI entra no seguinte estado, t + 1
  5. O objetivo da IA ​​é sempre o mesmo na aprendizagem por reforço: é maximizar as recompensas acumuladas ao longo do tempo, ou seja, a soma de todos os = R (s , a ) recebidos em cada transição. recebido em cada transição.

O gráfico a seguir o ajudará a visualizar e lembrar melhor um MDP, a base dos modelos de aprendizagem por reforço:

Figura 3: O processo de decisão de Markov

Agora, quatro pilares essenciais já estão moldando sua intuição de IA. Adicionar um último e importante completa a base de sua compreensão da IA. O último princípio é treinamento e inferência; no treinamento, a IA aprende e, na inferência, prevê.

Princípio # 5 – Treinamento e inferência

O princípio final que você deve entender é a diferença entre treinamento e inferência. Ao construir uma IA, há um tempo para o modo de treinamento e um tempo separado para o modo de inferência. Vou explicar o que isso significa começando com o modo de treinamento.

Modo de treinamento

Agora você entende, a partir dos três primeiros princípios, que a primeira etapa da construção de uma IA é construir um ambiente no qual os estados de entrada, as ações de saída e um sistema de recompensas sejam claramente definidos. A partir do quarto princípio, você também entende que dentro desse ambiente será construída uma IA que interage com ela, tentando maximizar a recompensa total acumulada ao longo do tempo.

Para simplificar, haverá um período preliminar (e longo) durante o qual a IA será treinada para fazer isso. Esse período é chamado de treinamento; também podemos dizer que o AI está em modo de treinamento. Durante esse tempo, a IA tenta realizar um determinado objetivo repetidamente até ter sucesso. Após cada tentativa, os parâmetros do modelo de IA são modificados para melhor desempenho na próxima tentativa.

Modo de inferência

O modo de inferência simplesmente surge depois que sua IA está totalmente treinada e pronta para um bom desempenho. Ele simplesmente consistirá em interagir com o ambiente executando as ações para cumprir a meta para a qual a IA foi treinada antes no modo de treinamento. No modo de inferência, nenhum parâmetro é modificado ao final de cada episódio.

Por exemplo, imagine que você tem uma empresa de IA que desenvolve soluções de IA personalizadas para empresas e um de seus clientes pediu que você construísse uma IA para otimizar os fluxos em uma rede inteligente. Primeiro, você entraria em uma fase de P&D durante a qual treinaria sua IA para otimizar esses fluxos (modo de treinamento) e, assim que atingir um bom nível de desempenho, entregaria sua IA ao seu cliente e entraria em produção . Sua IA regularia os fluxos na rede elétrica inteligente apenas observando os estados atuais da rede e realizando as ações para as quais foi treinada. Esse é o modo de inferência.

Às vezes, o ambiente está sujeito a mudanças; nesse caso, você deve alternar rapidamente entre os modos de treinamento e inferência para que sua IA possa se adaptar às novas mudanças no ambiente. Uma solução ainda melhor é treinar seu modelo de IA todos os dias e entrar no modo de inferência com o modelo treinado mais recentemente. Esse foi o último princípio fundamental comum a toda IA.

Para resumir, exploramos os cinco princípios-chave de aprendizagem por reforço que envolvem o sistema de entrada e saída, um sistema de recompensa, ambiente de IA, processo de decisão de Markov, treinamento e modo de inferência para IA.

Materia traduzida do Inglês de site Packt

Pin It on Pinterest