Presentatie big data provincie Noord-Holland (concern dag)
1 like402 views
Presentatie big data provincie Noord-Holland concern dag op 29 september 2016 over geospatial big data
Presentatie big data provincie Noord-Holland (concern dag)
- 1. Presentatie 29 september 2016 Provincie Noord-Holland Erik van der Zee (Geodan)
- 2. 'Big Data’ dit toverwoord zoomt al tijden rond. Maar wat is het nu precies? En wat kunnen we er nu wel en niet mee binnen de overheid? En specifiek bij de provincie? Wat zijn de voordelen? En toch de ‘gevaren’? Tijdsduur 90 minuten Locatie Claus Max 40 deelnemers
- 3. Drs. Erik van der Zee ◦ Fysisch Geograaf and Bedrijfseconoom ◦ Senior Consultant Geo-ICT en GIS bij Geodan ◦ PhD Kandidaat “Added value of Location in Smart Cities” ◦ E-mail [email protected] ◦ Twitter @erikvanderzee
- 4. Input Barteld Braaksma (CBS) voorbeelden Big Data gebruik CBS Input Dick Eertink (Kadaster) voorbeelden Big Data gebruik Kadaster
- 5. Wat is Big Data Big Data Opslag Big Data Analyse Big Data Analyse Tools Big Data en Artificial Intelligence Big Data en Smart Cities Voorbeelden gebruik Big Data NL overheid Big Data “Kwesties” Samenvatting en Conclusies
- 6. Quiz! Kilobyte 103 Megabyte 106 Gigabyte 109 Terabyte 1012 Petabyte 1015 Exabyte 1018 Zettabyte 1021 Yottabyte 1024 Brontobyte 1027 Gegobyte 1030 ( = 1.000.000.000.000.000.000.000.000.000.000 byte…)
- 7. Wat is Big Data
- 8. IBM “Any data that cannot be captured, managed, and/or processed using traditional data management components and techniques” Gartner “High-Volume, high-Velocity and high-Variety information that demands innovative forms of information processing for enhanced insight and decision making”
- 9. 450 Exabyte shipped in 2011 (Seagate) 7000 Exabyte opslagcapaciteit vraag in 2020
- 10. Steeds meer data creators (mensen + smart things “IoT”) Steeds meer content soorten (gestructureerd en ongestructureerd) Steeds meer variabelen (“phenomena”) Steeds meer delen via social networks (data duplicatie) Steeds meer bewaren (data, logfiles, “omdat het kan”) Steeds meer data combineren (“data met data” bvb output GIS analyse) Steeds meer voorspellen (extrapoleren, model output, scenarios)
- 11. Steeds hogere resoluties Ruimtelijke resolutie xy(z) Tijd(sinterval) resolutie van snapshots (“pictures”) naar continuous streams (“movies”) Meetspectrum (“banden”) van Multi-spectral naar Hyper-spectral (“data cubes”) Denk bvb Foto’s/Video’s maar ook aan AHN1, AHN2, AHN3, …
- 12. Steeds minder analoge data Steeds meer ongestructureerde data
- 13. Veel Big Data heeft een locatie component ◦ Direct Lat,Long of x,y,(z) ◦ Indirect Joinen met geospatial objects bvb BAG Panden of Adressen via bvb PC6+Huis# of BAG ID
- 14. Voorbeelden Spatial Big Data
- 15. EU Copernicus programma Sentinel Satellites (open remote sensing data) 3.000 TB/year (~8 TB/day) raw data
- 16. Zeer hoge resolutie images die grote gebieden afdekken http://www.gigapan.com/galleries/11203/gigapans/152220 (demo)
- 17. DARPA’s big eye: ARGUS-IS 1.8-Gigapixel camera for air surveillance ◦ Clear images of objects as small as 15 centimeters from an altitude of six kilometers ◦ One gigapixel is equal to 1,000 megapixels. For comparison: Modern professional digital cameras have a resolution of about 20 megapixels 1.000.000TB per day… City Wide Video Surveillance… http://youtu.be/6VkKeM-OK6g?t=8m6s
- 19. Selfdriving Cars / Drones (laserscanners) 1 Gigabyte every second = 2 Petabyte data per auto per jaar…
- 20. Google Tango
- 21. Georeferenced Social Media Content Voorbeeld http://onemilliontweetmap.com
- 22. Internet of Things & Smart Cities
- 23. Smart Internet Connected devices Thing +Micro computer (Arduino / Raspberry Pi / MEMS) + Sensors en Actuators + Internet connection + Digital identity (avatar + interactie mogelijkheden via API) = “Smart” Thing Héél veel Smart Things = “Internet of Things” Héél veel Smart Things = Héél veel Data… + + + + Thing Computer Sensor(s) and/or Actuator(s) Internet Connection Digital Identity (“avatar”) = Smart Thing
- 24. Things…
- 25. Arduino Raspberry Pi Netduino Waspmote Beagleboard Smart Citizen Kit
- 28. Facebook of Things…
- 29. * US Billion = NL Miljard ** US Trillion = NL Biljoen = 1000 Miljard * ** * **
- 30. Sensing Analysis and Prediction Act(uat)ing raw events meaningful events Waarnemen (data creatie) Aansturen / notificeren / routeren van objecten en subjecten Beschikbaarstelling Open sensor data Beschikbaarstelling Analyses Beschikbaarstelling Acties Sensing Analysis Act(uat)ing
- 31. Complex Event Processing (CEP)
- 32. Event processing Complex Event Processing (CEP)(meerdere sensor streams) “Temp. > 30°C” “Wind < 5km/u” “Temp. > 30°C” AND “Wind < 5km/u” Alarmmelding “Smog risico” (“meaningful event”) “Temp. > 30°C” Alleen overgangen meten
- 33. Big Data Storage
- 37. Steeds meer data leidt niet noodzakelijkerwijs tot informatie (inzicht) … Big Data Analyse + Visualisatie nodig
- 38. Analyse van Verleden (historische data) Heden (real-time data) en Toekomst (model output)
- 39. Gestructureerde data vs Ongestructureerde data Steeds meer informatie uit ongestructureerde data door slimme algoritmes (tekst / gezicht / object herkenning, ...) “convert to structured”
- 40. Visualisatie hoort ook bij analyse “een kaart meer zegt dan 1000 woorden” Voor Big Data nieuwe visualisaties, bvb “event tunnels”, dynamische spider diagrammen (grafen) (zie bvb www.d3js.org)
- 41. Big Data Analytics Tools
- 42. “Traditional” BI tools (Tableau / Qlik etc.) Big IT providers MS Azure / IBM / Amazon Palantir Synerscope (NL - Helvoirt) Hadoop Ecosystem of Tools
- 44. Apache Hadoop is “An open-source software framework for distributed storage and distributed processing of very large data sets on computer clusters built from commodity hardware” ◦ HDFS Hadoop Distributed File System is a file system designed for storing very large files ◦ MapReduce Processing and computing the data
- 46. Big Data & Artificial Intelligence… (deep learning)
- 48. Narrow AI ◦ Virtual Personal Assistants Siri, Google Now, Cortana, etc. ◦ Gedrag van virtuele spelers in Video Games ◦ Self Driving (smart) Cars ◦ Purchase Prediction (bvb welke boodschappen je nodig hebt o.b.v. koelkast inhoud en agenda;"morgen feestje voor x people") ◦ Fraud Detection (monitoren mogelijk misbruik creditcards) ◦ Online Customer Support (chat bots) ◦ News Generation (automatisch schrijven van teksten) ◦ Security Surveillance (monitoring of 1000s of cameras) ◦ Music and Movie Recommendation Services ◦ Smart Home Management (based on behavior patterns) ◦ Computer Aided Diagnostics and Advice (medical, law) General AI ◦ Kijk “Ex Machina”, Kijk “HER” (films over AI) ◦ Musk|Hawking AI Open Letter http://futureoflife.org/ai-open-letter/
- 49. Gebruik van Big Data (Voorbeelden uit Nederland)
- 50. Rijk ◦ Politie en Inlichtingendiensten ◦ Diverse Landelijke Meetnetten (KNMI, RWS, RIVM, NSO/ESA) KNMI Meteorologie, Seismiek RWS NDW Netwerk + LM Water + Zwemwater RIVM LM Lucht, Bodem, Grondwater, Radioactiviteit, Mest, Hemelhelderheid, Geluid (Schiphol) ◦ Grote admin. gegevensverzamelingen o.a. Belastingdienst, CBS, … ◦ Smart City werkgroepen bij Ministeries (EZ/IenM/…) ◦ NS/ProRail projecten Virtuele Trein / Virtuele Infra ◦ RWS Strategische visie op Big Data Waterschappen (meet- en regelsystemen water management) Milieudiensten / RUDs Meetnetten luchtkwaliteit Provincies (…) Gemeenten (“Living Labs” in diverse steden, parkeersensoren, tracking & tracing informatie stad- en streekvervoer, smart bins, …) Onderwijs (universiteiten) en onderzoeksinstituten (LOFAR meetnet) Geonovum Platform MS4S
- 52. Handhaving geluidsnormen Clean-up (cars) Event start End of event
- 53. Eindhoven (crowd control pilot)
- 55. 3D modellen bomen o.b.v. AHN2/3 point clouds + satellietbeelden Boomspecificaties afleiden (stam- en kruinhoogte, stam- en kruinbreedte, boom type etc.) Exacte aantallen + type bomen in NL
- 56. Efficiëntere routeringen Minder uitstoot Nox/fijnstof
- 57. Vermindering uitstoot door efficiënter parkeren (minder rondjes rijden Minder NOx uitstoot)
- 58. Landelijke meetnetten (GW/OW/Meteo) Water Management en Modellering Sensing – Analysis – Acting (sluizen)
- 59. Nationaal Datawarehouse Wegverkeergegevens (NDW) Dynamisch verkeersmanagement bijsturen verkeersstromen bij files en overschrijding van normen (geluid/luchtkwaliteit) in bepaald gebied
- 60. Airquality Egg (www.airqualityegg.com) SmartCitizen Kit (www.smartcitizen.me)
- 61. ISPEX (crowd sourcing) Meting aerosols met smart phones Citizen Science project RIVM (crowd sourcing) Verdichting landelijke meetnetten
- 62. Schepen http://www.marinetraffic.com/ais/ Vliegtuigen http://radar.vlieghinder.nl ◦ Geluidsensors (meting geluidsoverlast Schiphol) ◦ Realtime informatie vliegtuigen (snelheid, locatie, type, etc.) Treinen …
- 66. Verkeerslussen naar reguliere productie 115 miljard metingen 80TB aan data
- 67. • Statistieken gepubliceerd op 8 januari; zelfde week al (!) • Op basis van verkeerslusdata
- 68. Analyse: CBS Dataleverancier: Coosto
- 71. • Dichtbij reguliere productie • Alleen nog Vodafone cijfers • Diverse toepassingen • Gesprekken met mogelijke gebruikers lopen
- 72. Wat is de toekomstige rol van officiële statistiek? ◦ Vraag naar real-time, hoog-frekwente en ruimtelijk gedetailleerde informatie ◦ Informatie vs. interpretatie/voorspellingen/advies ◦ Wat moeten we aan de markt overlaten? ◦ Time-to-market moet korter Aandachtspunt: privacy van individuen en groepen ◦ Wettelijke eisen en ethische principes ◦ Wat vindt het publiek acceptabel gebruik van data? ◦ Europese Praktijkcode voor Statistiek is ons richtsnoer ◦ Transparantie is essentieel!
- 74. 90.000 nieuwe percelen per jaar 600.000 KLIC-meldingen 800.000 inschrijvingen openbaar register 22.600.000 inzagen Kadaster-on-line 1.700.000.000 web service requests PDOK
- 75. Mini-Brainstorm
- 76. Heeft de Provincie NH Big Data? Doet de Provincie NH iets met Big Data? Heeft de Provincie ambities o.h.g.v. Big Data?
- 78. Privacy en Security (wetgeving|hacking) Standaarden (interoperability) Visie en Strategie (beleid) Architectuur (systeem integratie) Kennis en Vaardigheden (opleiding) Gesloten vs Open data (Eigendom) Beheer (data kwantiteit en kwaliteit)
- 79. Verzameling van data vaak gekoppeld aan publieke taken gezondheidsgegevens, verkeersdoorstroming. Vaak ook bijproduct (telecom gegevens) Niet alle data mogen zo maar verzameld, bewerkt en verspreid worden Rekening houden met Privacy, (Staats)veiligheid, Doelbinding, Bewaartermijnen, en Intellectueel Eigendom Wet en regelgeving loopt vaak achter de feiten aan
- 80. Smart Things hebben vendor specifieke datamodellen + API protocols + applicaties (“een app voor ieder thing…”) Standaarden zijn er inmiddels wel… maar worden niet gebruikt ◦ Awareness ontbreekt bij gemeenten ◦ Vendor Lock-in (gaan voor de snelle oplossing) Lastig om een overall (city scale) geïntegreerd beeld te krijgen Sensor data delen met buurgemeenten API1 API2 API3 API… Syst. Vendor1 Syst. Vendor2 Syst. Vendor3 Syst. Vendor Sensor Data 1 Sensor Data 2 Sensor Data 3 Sensor Data … App 1 App 2 App 3 App … Energy Water Transport Environment API1 Syst. Vendor1 Sensor Data 1 App 1 API2 Syst. Vendor2 Sensor Data 2 App 2 API3 Syst. Vendor3 Sensor Data 3 App 3 API… Syst. Vendor Sensor Data … App …
- 81. OGC SWE / Sensor Things Standaarden ◦ Bieden standaard datamodel en API beschrijvingen voor Smart Things ◦ Integratie informatie afkomstig van verschillende vendors ◦ Interoperability tussen systemen in / tussen Smart Cities mogelijk Smart City Interoperability API1 API2 API3 API… Syst. Vendor1 Syst. Vendor2 Syst. Vendor3 Syst. Vendor Sensor Data 1 Sensor Data 2 Sensor Data 3 Sensor Data … Smart City Informatie model (IMSC) Real-Time Datamodel Transformation Smart City SensorThings API Smart City SDKs Smart City A Smart City B Standaard APIs Standaard APIs City Applicaties API1 Syst. Vendor1 Sensor Data 1 API2 Syst. Vendor2 Sensor Data 2 API3 Syst. Vendor3 Sensor Data 3 API… Syst. Vendor Sensor Data …
- 82. Data standaarden (semantiek) Uitwisselingsstandaarden ◦ OGC SensorThings API / Datamodel
- 84. Big Data ◦ Big Raster data (VHR images, video) ◦ Big Vector data (point clouds) ◦ Real-Time Sensor data (Internet of Things) Big Data Analyse ◦ Heden-Verleden-Toekomst ◦ Image Processing (Object/Beeld/Tekst herkenning) Artificial Intelligence ◦ Big Data + Feedback = Deep Learning Voorbeelden Big Data analyse in Nederland ◦ Banken, Verzekeringen, Security, Kritische Infrastructuur (transport, energy, water, oil&gas, telecommunication) ◦ Rijkswaterstaat Nationaal Datawarehouse Wegverkeer (NDW) ◦ Experimenten bij CBS|Kadaster ◦ Provincies… (not so much yet)
- 85. Big Data zinvol in Fysieke Leefomgeving ◦ Real-Time VTH (toetsing op normen uit de omgevingswet m.b.v. sensoren: geluidsbelasting / lucht- & waterkwaliteit / etc.) ◦ Gebruik van satelliet data (near real-time beelden van Nederland) Huidige Meetnetten beter gebruiken ◦ Beschikbaar stellen Open Sensor Data APIs ◦ Verdichting meetnetten d.m.v. crowd sourcing Uitdaging Big Data Analytics koppelen aan VTH processen
- 86. 1. Verdiepen in het onderwerp Theoretische aspecten big data 2. Inventariseer welke Big Data een provincie heeft en wat je daarmee zou kunnen doen (“aan de slag” testbeds, pilots Smart Provincie) 3. Visie ontwikkelen (provincies) op Big Data (inspiratie RWS) gekoppeld aan provinciale thema’s en Smart City ambities van gemeenten 4. Kennis delen en ervaring opdoen o.h.g.v. Big Data (bvb Prov. Wegen), Smart Environments en IoT via bvb Geonovum Platform MS4S 5. Voortrekkersrol nemen o.h.g.v. ontwikkeling van smart cities in de eigen provincie
- 87. Nederland volledig 3D gefotografeerd en laserscanned Continue bijhouding 3D model via drones /self-driving cars Gecombineerd met continue real-time data van smart things Now THATs Big…
- 88. Vragen? Drs. Erik van der Zee T +31 (0)20 5711 311 M +31 (0) 6 1009 9691 E [email protected] I www.geodan.nl T @erikvanderzee President Kennedylaan 1 1079MB Amsterdam The Netherlands