Migracje danych serverless
0 likes•38 views
Pamiętacie jeszcze stare programy lub aplikacje pisane przy użyciu C, Assemblera lub innych bardzo przestarzałych technologii? Ja też nie. Za to jeden z naszych klientów pamięta i przyszedł z prośbą o przeniesienie danych z jego starej aplikacji do nowej. Podczas tej prezentacji będziecie mogli zobaczyć, jak poradziliśmy sobie z problemami wynikającymi z istniejących aplikacji oraz jak stworzyliśmy oprogramowanie migrujące dane na podstawie usług dostępnych w AWS.
Migracje danych serverless
- 1. Jak migrować dane pomiędzy dwoma systemami z pomocą AWS? Migracje danych serverless
- 2. Jakub Cała Senior Node.js Developer [email protected]
- 4. Nowy system
- 5. Wyzwania
- 6. Liczba danych Prawie 24 240 000 operacji sumarycznie
- 7. Wydajność systemu API nowego systemu miało swój limit procesowania
- 8. Działające środowisko Migracja na środowisko, na którym pracował klient
- 9. Czas migracji Migracja mogła najdłużej zajmować niecałe 40 godzin
- 10. Różne rozmiary danych Każda migracja miała inny rozmiar danych do zmigrowania
- 11. Różne zasady migracji Pojedynczych migracji było wiele i różniły się, były praktycznie osobnymi projektami w kontekście mapowania danych
- 12. E T L Extract Transform Load
- 14. AWS SQS FIFO Usługa kolejki wiadomości, która zapewnia przetwarzanie wiadomości w kolejności ich wysyłania, co umożliwia skuteczne zarządzanie przepływem danych w systemach rozproszonych.
- 15. AWS Lambda AWS Lambda może wykorzystać MessageGroup w kolejce SQS FIFO do kontrolowania ilości przetwarzanych wiadomości w jednostce czasu, co jest potrzebne w rate limitingu.
- 16. Sleep time x = (60000 / y) * z y - liczba requestów / min dla 1 lambdy z - liczba requestów do zewnętrznego API x = y / z y - liczba requestów na minutę z - liczba współbieżnych lambd
- 20. AWS SQS W 2023 roku została dodana możliwość ustawiania Maximum Concurrency dla lambdy, gdy źródłem zdarzenia jest AWS SQS. Pozwala to na implementacje rate limitingu przy pomocy zwykłych kolejek SQS.
- 21. AWS Step Functions Narzędzie do koordynacji procesów w AWS. Posiada limit historii zdarzeń wynoszący 25 tysięcy rekordów per jedno wywołanie.
- 26. AWS Step Functions Istnieje możliwość wykorzystania Distributed Map w celu przetwarzania wielkiej ilości danych w tym samym czasie. Zwykły krok typu Map pozwala na 40 współbieżnych wywołań, kiedy Distributed Map wspiera do 10 tysięcy wywołań jednocześnie.
- 29. Jeden rekord = Jedna operacja Resource może być zmigrowany tylko raz
- 30. AWS DynamoDB Baza danych NoSQL udostępniona przez AWS. Na podstawie tej bazy został opracowany koncept Single Table Design pozwalający na przechowywanie danych o różnych strukturach w pojedynczej tabeli.
- 32. Czemu nie użyć getItem bez Single Table Design?
- 33. Raporty :)
- 36. Liczba zmigrowanych rekordów Liczba nieobsłużonych rekordów Lista wszystkich błędów podczas migracji
- 37. Liczba zmigrowanych rekordów Liczba nieobsłużonych rekordów Lista wszystkich błędów podczas migracji I to wszystko z podziałem na grupy
- 42. Podsumowanie
- 43. Opieramy migracje na producencie i konsumencie
- 45. Duże zbiory danych dzielimy na mniejsze
- 46. Tworzymy wynik migracji w postaci raportu