Android things, machine learning e maquinas de doces
3 gostaram546 visualizações
O documento apresenta uma visão geral sobre o uso de Android Things e Machine Learning em aplicações de Internet das Coisas, destacando a construção de uma máquina de doces inteligente. Ele detalha conceitos de aprendizado de máquina, tipos de algoritmos e fornece exemplos práticos de implementação e integração com APIs do Google. Além disso, inclui referências a projetos e recursos para desenvolvedores interessados na criação de soluções IoT.
Android things, machine learning e maquinas de doces
- 1. ANDROID THINGS MACHINE LEARNING E MÁQUINAS DE DOCES Alvaro Viebrantz aviebrantz.com.br @alvaroviebrantz medium.com/@alvaroviebrantz 1
- 2. Alvaro Viebrantz DevMT e GDGCuiabá Fullstack developer aviebrantz.com.br // @alvaroviebrantz medium.com/@alvaroviebrantz 2
- 3. Agenda de eventos meetup.com/devmatogrosso meetup.com/gdgcuiaba Chat e Fórum - slack.devmt.com.br 3
- 4. 38anos Computadores Primitivos Computadores Pessoais 4
- 6. 12anos Internet Smartphones / Nuvem / Mobile 6
- 7. “The more advanced we become the faster we become at advancing” "Marco Annunziata: Welcome to the Age of the Industrial Internet" 7
- 8. Nossa noção de sucesso mudou… 8
- 9. http://press.spotify.com/us/category/pictures/ 9
- 10. 4.7 bilhões de página A Web é gigante hoje Era do Zetabyte* * 1000 Exabytes 36.000 anos de video em hd Últimos 20anos http://www.livescience.com/54094-how-big-is-the-internet.html 10
- 11. 11
- 12. A Web é gigante hojeComputação Ubiqua 12
- 13. 13
- 14. É uma extensão da plataforma Android para IoT e dispositivos embarcados. 14 Android Things
- 15. Android SDK Android Studio Play Services Firebase Cloud Platform Mesmo ecossistema do Android 15 Todo poder dos serviços do Google
- 16. Android Things Dev Preview Você pode iniciar com um Raspberry Pi 3 16
- 17. Produção em escala Google Managed BSP SoM Architecture Módulos pré-certificados (SoM - System On Module) 17
- 18. Telas são opcionais Considere alternativas de UI
- 19. Arquitetura do sistema Android Muito pode ser aproveitado para IoT
- 20. Arquitetura Android Things Basicamente remoção de APIs de telefonia, games e uma experiência sem login
- 21. Dispositivos mais poderosos e seguros na ponta Processamento local mais pesado 21 Cameras Gateways HVAC Control Smart Meters Point of Sale Inventory Control Interactive Ads Vending Machines Security Systems Smart Doorbells Routers Energy Monitors Asset Tracking Fleet Management Driver Assist Predictive Service
- 22. Contagem de pessoas na fila Processamento de imagens e envio apenas de informação relevante 22
- 23. Machine Learning “Smart Devices” “Coisas que pensam” e 23
- 24. Na prática O que é machine learning ? 24
- 25. Na prática O que é machine learning ? 25
- 26. Na prática O que é machine learning ? 26
- 27. Novo problema ? Comece do zero :( 27
- 28. Machine Learning Aprendizado de máquina Reconhecer padrões em dados de treinamento Aplica padrões reconhecidos em dados desconhecidos Regressão ou classificação dos dados Ajuste do modelo 28
- 29. Machine Learning Aprendizado de máquina Supervisionado Não-supervisionado Por Reforço Tipos de aprendizado 29
- 30. Aprendizado Supervisionado Os dados de treinamento são classificados Classificação e Regressão Redes Neurais Árvores de Decisão 30
- 32. Aprendizado Não-Supervisionado Agrupar dados por similaridade K-Means Agrupamento e exploração 32
- 33. Aprendizado por reforço Expõe agente ao ambiente com primitivas básicas Q-Learning Tentativa/Erro vs Recompensa 33
- 34. • Usar a Cloud ou a Mobile API (Vision, Natural Language, etc.) • Usar um arquitetura existente e re-treinar ela ou fazer um ajuste fino para o seu conjunto de dados • Desenvolver o seu próprio modelo para resolver novos problemas Mais flexível, mas requer maior esforço Como você pode iniciar com Machine Learning? Três caminhos, com diferentes complexidades: 34
- 35. Cloud Natural Language Cloud Speech Cloud Vision Cloud Machine Learning APIs Veja, Ouça e Entenda o mundo 35
- 36. Faces Faces, marcações faciais, emoções OCR Ler e extrair texto, com suporte para > 10 linguagens Classificação Detectar entidades de mobília a meios de transporte Logos Identificar logos de produtos Marcos e Propriedades da imagem Busca Segura Detectar conteúdo explícito - adulto, violência, médicas e fraudes Cloud Vision API 36 Reconhecimento de imagens
- 37. Extrair frases, identificar partes da fala e criar uma árvore de dependências para cada sentença. Identificar entidades e classificá-las por tipos, como pessoa, organização local, evento, produto e media. Entender o sentimento dominante do bloco de texto. Análise de Sintaxe Reconhecimento de entidades Análise de sentimentos 37 Cloud Natural Language API Reconhecimento de linguagem natural
- 38. Automatic Speech Recognition (ASR) powered by deep learning neural networking to power your applications like voice search or speech transcription. Recognizes over 80 languages and variants with an extensive vocabulary. Returns partial recognition results immediately, as they become available. Filter inappropriate content in text results. Audio input can be captured by an application’s microphone or sent from a pre-recorded audio file. Multiple audio file formats are supported, including FLAC, Handles noisy audio from many environments without requiring additional noise cancellation. Audio files can be uploaded in the request and, in future releases, integrated with Google Cloud Storage. Automatic Speech Recognition Global Vocabulary Inappropriate Content Filtering Streaming Recognition Real-time or Buffered Audio Support Noisy Audio Handling Integrated API 38 Cloud Speech API Reconhecimento de áudio e voz
- 39. Face API faces, marcações faciais, olhos abertos, sorrisos Barcode API Códigos de barra 1D e 2D Text API Alfabeto latino / estrutura Common Mobile Vision API Suporte para detecção e rastreio de imagens e vídeos no dispositivo Mobile Vision API Provendo visão para aplicações diretamente no dispositivo 39
- 40. Combinado Visão e Tradução 40
- 41. • Funções especificas para Deep Learning • Para pesquisa e produção • Licença Apache 2.0 41 TensorFlow Biblioteca de machine learning Open source
- 42. Raspberry PiDatacentersSeu laptop Android iOS 42 Portável e Escalável Rode em qualquer lugar
- 43. 43 Reconhecimento de Imagens Modelo Inception V3 - Modelo desenvolvido pelo Google https://research.googleblog.com/2016/03/train-your-own-image-classifier-with.html Fire Salamander Golden Retriever Dalmatian
- 44. 44 Transferência de conhecimento Utilizar modelos já prontas e/ou re-treinar com novos dados Inception V3 - Classifica imagens Modelo desenvolvido pelo Google
- 45. 45 Transferência de conhecimento MobileNets - Modelos de visão computacional https://research.googleblog.com/2017/06/mobilenets-open-source-models-for.html
- 46. 46 Transferência de conhecimento Tensorflow Object Detection API - Treine com seus dados e aproveite um modelo já treinado para detectar objetos https://cloud.google.com/blog/big-data/2017/06/training-an-object-detector-using-cloud- machine-learning-engine
- 48. Classificação de Pepinos Tensorflow rodando local no dispositivo embarcado 48 https://cloud.google.com/blog/big-data/2016/08/how-a-japanese- cucumber-farmer-is-using-deep-learning-and-tensorflow
- 49. Irrigação inteligente Aprender a irrigar corretamente utilizando sensores de umidade do solo, controle de irrigação e técnicas de aprendizado por reforço 49
- 50. Apple Siri Reconhecimento de voz Entender e identificar entidades 50
- 51. A.I. Candy Dispenser Máquina de doces inteligente Android Things Cloud Vision 51
- 52. A.I. Candy Dispenser Máquina de doces inteligente Cloud Vision 52 Android Things Tira uma foto Classifica foto Libera doces ou
- 53. A.I. Candy Dispenser Máquina de doces inteligente 53
- 54. A.I. Candy Dispenser Na mídia 🎉 https://blog.hackster.io/ hacksters-handpicked-projects-of- the-week-e2403bdf387a http://www.htxt.co.za/2017/06/07/ this-ai-candy-dispenser-swaps- pictures-for-sweets/ 54 https://www.raspberrypi.org/ blog/android-things-candy- dispenser/
- 55. Construindo um app Android Things
- 56. Construindo um app Android Things Android Studio 3.0 Preview tem suporte ao Android Things
- 57. dependencies { provided 'com.google.android.things:androidthings:...' } <application ...> <uses-library android:name="com.google.android.things"/> <activity ...> ... <!-- Launch activity automatically on boot --> <intent-filter> <action android:name="android.intent.action.MAIN"/> <category android:name="android.intent.category.IOT_LAUNCHER"/> <category android:name="android.intent.category.DEFAULT"/> </intent-filter> </activity> </application> Home Activity
- 58. GPIO PWM I2C SPI UART Input Sensors GPS Peripheral Driver Library Peripheral I/O User Drivers Peripheral I/O Como se comunicar como o hardware
- 59. GPIO PWM I2C SPI UART Peripheral I/O Peripheral I/O Comunicação mais baixo nível
- 60. class CandyMachine(gpio: String): AutoCloseable{ private val CANDY_TIMEOUT = 3*1000L private var mCandyPin: Gpio? = null private var mCandiesTimer: CountDownTimer? = null init{ val service = PeripheralManagerService() mCandyPin = service.openGpio(gpio) mCandyPin?.setDirection( Gpio.DIRECTION_OUT_INITIALLY_LOW) mCandyPin?.setActiveType(Gpio.ACTIVE_HIGH) } } Peripheral I/O - GPIO Comunicação mais baixo nível
- 61. fun giveCandies() { mCandyPin?.value = true mCandiesTimer?.cancel() mCandiesTimer = object: CountDownTimer( CANDY_TIMEOUT, CANDY_TIMEOUT) { override fun onTick(remainingMillis: Long) {} override fun onFinish() { mCandyPin?.value = false } ) mCandiesTimer?.start() } Peripheral I/O - GPIO Comunicação mais baixo nível
- 62. GPIO PWM I2C SPI UART Input Sensors GPS Peripheral I/O User Drivers User Drivers Abstração para módulos de hardware
- 63. dependencies { compile 'com.google.android.things.contrib:driver-button:...' } override fun onCreate(savedInstanceState: Bundle?) { super.onCreate(savedInstanceState) setContentView(R.layout.activity_main) mButton = Button(BUTTON_PIN, Button.LogicState.PRESSED_WHEN_LOW) mButton?.setOnButtonEventListener(mButtonEventListener) updateGameState(WAITING_PLAYER) } User Drivers Leitura do botão utilizando um driver
- 64. val mButtonEventListener = { _: Button, pressed: Boolean -> Log.d(TAG, "Button is pressed: " + pressed) if(pressed){ when(mGameState){ WAITING_PLAYER -> { updateGameState(WAITING_PHOTO) } WAITING_PHOTO -> { updateGameState(ANALYZING_PHOTO) } WAITING_RECLAIM_PRIZE -> { mCandyMachine?.giveCandies() updateGameState(WAITING_PLAYER) } } } } User Drivers Leitura do botão utilizando um driver
- 65. dependencies { compile nz.geek.android.things:things-drivers:...' } mDisplay = Display(LCD_I2C_BUS) mDisplay?.clear() mDisplay?.print(1, "A.I. Candy Dispenser") mDisplay?.printCenter(2, "") mDisplay?.printCenter(3, "Press the Button") mDisplay?.printCenter(4, "To start") User Drivers Display 20x4 Serial i2C
- 66. The Power of Android = Pi Camera Exatamente igual ao Android Padrão
- 67. dependencies { compile ’com.google.api-client:google-api-client-android:...' compile ’com.google.apis:google-api-services-vision:...' } fun annotateImage(imageBytes: ByteArray): Map<String, Float>{ // Construct the Vision API instance val httpTransport = AndroidHttp.newCompatibleTransport() val jsonFactory = GsonFactory.getDefaultInstance() val initializer = VisionRequestInitializer(CLOUD_VISION_API_KEY) val vision = Vision.Builder(httpTransport, jsonFactory, null) .setApplicationName("AI Candy Dispenser") .setVisionRequestInitializer(initializer) .build() Vision API API bastante simplificada
- 68. // Create the image request val imageRequest = AnnotateImageRequest() val image = Image() image.encodeContent(imageBytes) imageRequest.image = image // Add the features we want val labelDetection = Feature() labelDetection.type = "LABEL_DETECTION" labelDetection.maxResults = 10 imageRequest.features = listOf(labelDetection) // Batch and execute the request val requestBatch = BatchAnnotateImagesRequest() requestBatch.requests = listOf(imageRequest) val response = vision.images() .annotate(requestBatch) .setDisableGZipContent(true) .execute() Vision API
- 69. dependencies { compile 'org.tensorflow:tensorflow-android:1.2.0-preview' } val IMAGE_SIZE = 224 private val IMAGE_MEAN = 117 private val LABELS_FILE = “imagenet_comp_graph_label_strings.txt" val MODEL_FILE = "file:///android_asset/tensorflow_inception_graph.pb" val NUM_CLASSES = 1008 private val mInferenceInterface: TensorFlowInferenceInterface private val mLabels: List<String> init { mInferenceInterface = TensorFlowInferenceInterface(ctx.assets, MODEL_FILE) mLabels = readLabels(ctx) mInvertedIndex = readInvertedIndex(ctx) mCroppedBitmap = Bitmap.createBitmap(IMAGE_SIZE, IMAGE_SIZE, Bitmap.Config.ARGB_8888) } TensorFlow InceptionV3 rodando no Android
- 70. fun annotateImage(imageBytes: ByteArray): Map<String, Float> { val image = BitmapFactory.decodeByteArray(imageBytes,0,imageBytes.size) this.cropAndRescaleBitmap(image, mCroppedBitmap) val pixels = this.getPixels(mCroppedBitmap) // Feed the pixels of the image into the TensorFlow Neural Network mInferenceInterface.feed(INPUT_NAME, pixels, *NETWORK_STRUCTURE) // Run the TensorFlow Neural Network with the provided input mInferenceInterface.run(OUTPUT_NAMES) // Extract the output from the neural network back into an array of confidence per category val outputs = FloatArray(NUM_CLASSES) mInferenceInterface.fetch(OUTPUT_NAME, outputs) // Get the results with the highest confidence and map them to their labels return this.getBestResults(outputs, this.mLabels) } TensorFlow InceptionV3 rodando no Android
- 71. Open Source - Máquina de Doces Inteligente https://github.com/alvarowolfx/ai-candy-dispenser 71 https://www.hackster.io/alvarowolfx/android-things-a-i-candy- dispenser-a47e74
- 72. Projetos - Monitor Energia AndroidThings https://github.com/riggaroo/android-things-electricity-monitor 72
- 73. Projetos - Piano distribuido https://riggaroo.co.za/android-things-building-distributed-piano/ 73
- 74. Codelab - Estação Meteorológica AndroidThings https://codelabs.developers.google.com/codelabs/androidthings-weatherstation 74
- 75. Codelab - Android Things Image Classifier https://codelabs.developers.google.com/codelabs/androidthings-classifier
- 76. Codelab - Face Detection with Mobile Vision API https://codelabs.developers.google.com/codelabs/face-detection
- 77. Codelab - Cloud Function + Cloud Vision API https://codelabs.developers.google.com/codelabs/firebase-cloud-functions
- 79. Links úteis • https://cloud.google.com/vision/ • https://cloud.google.com/products/ • https://developers.google.com/assistant/sdk/ • https://developer.android.com/things/ • https://iot.google.com • https://www.tensorflow.org • https://developer.amazon.com • https://www.youtube.com/user/GoogleDevelopers/videos • https://www.hackster.io/alvarowolfx/android-things-a-i-candy-dispenser-a47e74 79
- 80. Referência • https://www.slideshare.net/andrecurvello/internet-das-coisas-do-sensor-nuvem-e- voc • https://www.youtube.com/watch?v=ETWhOWvqH5E • https://www.youtube.com/watch?v=0JWGFMtDDy0 80