Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Imagine que você está desenvolvendo um aplicativo de recomendação de alimentos,
que sugere opções parecidas com os
pratos favoritos dos usuários. Para recomendações de alta qualidade (por exemplo,
"já que você gosta de panquecas, recomendamos crepes"), você precisa
desenvolver um modelo de machine learning (ML) que consiga prever a semelhança entre os alimentos.
Para treinar esse modelo, você seleciona um conjunto de dados com 5.000 pratos
conhecidos, incluindo borscht,
cachorro-quente,
salada,
pizza
e shawarma.
Figura 1. Amostragem dos alimentos incluídos no conjunto de dados de pratos.
Você cria um recurso meal que tem uma representação com
codificação one-hot
para cada um dos alimentos no conjunto de dados.
Codificação se refere ao processo
de escolher uma representação numérica inicial dos dados para treinar o modelo.
Figura 2. Codificações one-hot de borscht, cachorro-quente e shawarma.
Cada vetor de codificação one-hot tem 5.000 entradas (uma para cada
item no conjunto de dados). As reticências no diagrama representam
as 4.995 entradas não exibidas.
Armadilhas das representações de dados esparsos
Ao analisar as codificações one-hot, é possível notar diversos problemas com essa
representação de dados.
Número de pesos. Vetores de entrada grandes resultam em muitos
pesos
para uma rede neural.
Com M entradas na sua codificação one-hot e N
nós na primeira camada da rede após a entrada, o modelo precisa treinar
MxN pesos para essa camada.
Número de pontos de dados. Quanto mais pesos seu modelo tiver, mais dados você
precisará treinar com eficácia.
Quantidade de computação. Quanto mais pesos, mais computação será necessária
para treinar e usar o modelo. É fácil ultrapassar a capacidade do seu
hardware.
Quantidade de memória. Quanto mais pesos no seu modelo, mais memória
será necessária nos aceleradores que o treinam e disponibilizam. É muito difícil
escalonar isso de maneira eficiente.
Dificuldade da compatibilidade com o
machine learning no dispositivo (ODML, na sigla em inglês).
Caso pretenda executar seu modelo de ML em dispositivos locais, e não o
disponibilizar, você precisará se concentrar em diminuir o tamanho do modelo e
o número de pesos.
Neste módulo, você vai aprender a criar embeddings, representações
de baixa dimensão de dados esparsos, que resolvem esses problemas.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Não contém as informações de que eu preciso","missingTheInformationINeed","thumb-down"],["Muito complicado / etapas demais","tooComplicatedTooManySteps","thumb-down"],["Desatualizado","outOfDate","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Problema com as amostras / o código","samplesCodeIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-05-20 UTC."],[[["\u003cp\u003eThis module explains how to create embeddings, which are lower-dimensional representations of sparse data that address the problems of large input vectors and lack of meaningful relations between vectors in one-hot encoding.\u003c/p\u003e\n"],["\u003cp\u003eOne-hot encoding creates large input vectors, leading to a huge number of weights in a neural network, requiring more data, computation, and memory.\u003c/p\u003e\n"],["\u003cp\u003eOne-hot encoding vectors lack meaningful relationships, failing to capture semantic similarities between items, like the example of hot dogs and shawarmas being more similar than hot dogs and salads.\u003c/p\u003e\n"],["\u003cp\u003eEmbeddings offer a solution by providing dense vector representations that capture semantic relationships and reduce the dimensionality of data, improving efficiency and performance in machine learning models.\u003c/p\u003e\n"],["\u003cp\u003eThis module assumes familiarity with introductory machine learning concepts like linear regression, categorical data, and neural networks.\u003c/p\u003e\n"]]],[],null,["| **Estimated module length:** 45 minutes\n| **Learning objectives**\n|\n| - Visualize vector representations of word embeddings, such as [word2vec](https://wikipedia.org/wiki/Word2vec).\n| - Distinguish encoding from embedding.\n| - Describe contextual embedding.\n| **Prerequisites:**\n|\n| This module assumes you are familiar with the concepts covered in the\n| following modules:\n|\n| - [Introduction to Machine Learning](/machine-learning/intro-to-ml)\n| - [Linear regression](/machine-learning/crash-course/linear-regression)\n| - [Working with categorical data](/machine-learning/crash-course/categorical-data)\n| - [Neural networks](/machine-learning/crash-course/neural-networks)\n\nImagine you're developing a food-recommendation application, where\nusers input their favorite meals, and the app suggests similar meals\nthat they might like. You want to develop a machine learning (ML) model\nthat can predict food similarity, so your app can make high quality\nrecommendations (\"Since you like pancakes, we recommend crepes\").\n\nTo train your model, you curate a dataset of 5,000 popular\nmeal items, including ,\n,\n,\n,\nand .\n**Figure 1.** Sampling of meal items included in the food dataset.\n\nYou create a `meal` feature that contains a\n[**one-hot encoded**](/machine-learning/glossary#one-hot-encoding)\nrepresentation of each of the meal items in the dataset.\n[**Encoding**](/machine-learning/glossary#encoder) refers to the process of\nchoosing an initial numerical representation of data to train the model on.\n**Figure 2.** One-hot encodings of borscht, hot dog, and shawarma. Each one-hot encoding vector has a length of 5,000 (one entry for each menu item in the dataset). The ellipsis in the diagram represents the 4,995 entries not shown.\n\nPitfalls of sparse data representations\n\nReviewing these one-hot encodings, you notice several problems with this\nrepresentation of the data.\n\n- **Number of weights.** Large input vectors mean a huge number of [**weights**](/machine-learning/glossary#weight) for a [**neural network**](/machine-learning/glossary#neural-network). With M entries in your one-hot encoding, and N nodes in the first layer of the network after the input, the model has to train MxN weights for that layer.\n- **Number of datapoints.** The more weights in your model, the more data you need to train effectively.\n- **Amount of computation.** The more weights, the more computation required to train and use the model. It's easy to exceed the capabilities of your hardware.\n- **Amount of memory.** The more weights in your model, the more memory that is needed on the accelerators that train and serve it. Scaling this up efficiently is very difficult.\n- **Difficulty of supporting on-device machine learning (ODML).** If you're hoping to run your ML model on local devices (as opposed to serving them), you'll need to be focused on making your model smaller, and will want to decrease the number of weights.\n\nIn this module, you'll learn how to create **embeddings**, lower-dimensional\nrepresentations of sparse data, that address these issues.\n| **Key terms:**\n|\n| - [One-hot encoding](/machine-learning/glossary#one-hot-encoding)\n| - [Neural network](/machine-learning/glossary#neural-network)\n- [Weight](/machine-learning/glossary#weight) \n[Help Center](https://support.google.com/machinelearningeducation)"]]
![Figura 2. Parte de cima: uma visualização da codificação one-hot para borscht.
O vetor [1, 0, 0, 0, …, 0] é exibido acima de seis caixas,
cada uma alinhada da esquerda
para a direita com um dos números do vetor. As caixas, da esquerda para a direita,
incluem as seguintes imagens: borscht, cachorro-quente, salada, pizza, [vazio],
shawarma. Meio: uma visualização da codificação one-hot para cachorro-quente.
O vetor [0, 1, 0, 0, …, 0] é exibido acima de seis caixas, cada
uma alinhada da esquerda para a direita com um dos números do vetor. As caixas têm
as mesmas imagens da esquerda para a direita que a visualização de borscht
acima. Parte de baixo: uma visualização da codificação one-hot para shawarma. O
vetor [0, 0, 0, 0, …, 1] é exibido acima de seis caixas, cada uma alinhada
da esquerda para a direita com um dos números do vetor. As caixas têm
as mesmas imagens da esquerda para a direita que as visualizações de borscht e cachorro-quente
acima.](https://developers.google.com/static/machine-learning/crash-course/embeddings/images/food_images_one_hot_encodings.png?hl=pt-br)