JPoint 2016 - Etudes of DIY Java profiler
0 likes•1,147 views
Документ обсуждает создание профилировщика из подручных средств, описывая достижения в проекте, связанного с обработкой больших наборов данных. Он содержит примеры кода и обсуждает различные инструменты для профилирования приложений, а также приводит примеры оптимизаций и производительности. В документе приводятся конкретные метрики и советы по устранению узких мест в производительности программного обеспечения.
JPoint 2016 - Etudes of DIY Java profiler
- 1. Как сделать профилировщик из палок... и других подручных средств @antonarhipov JPoint 2016, Москва
- 4. Batch / ETL Исходные данные : ~10k записей Результат: ~20M записей j.u.Date / j.u.Calendar Java 1.4 HP-UX Первый запуск: 25 ч :-( После оптимизаций: 10 ч После изменения дизайна: 30 мин :-) 2005 История одного проекта
- 5. Тот самый случай когда выглядишь умным, но чувствуешь себя полным ДУРАКОМ
- 7. Как и когда вы используете профилировщик?
- 8. QA Staging Production Тормозит! Тесты показывают падение производительности Всё плохо!
- 10. > Chrome DevTools > FireBug > YSlow > … > XRebel “Проактивные” инструменты
- 11. > Пользовательский интерфейс > Профилирование приложения > Трассировка внешних вызовов > Трассировка потоков > Распределённые приложения Этюды профайлероводства
- 12. UI & UX
- 14. package org.apache.catalina.connector; public class Response implements HttpServletResponse { public ServletOutputStream getOutputStream() throws IOException { if (this.usingWriter) { throw new IllegalStateException(…)); } this.usingOutputStream = true; if (this.outputStream == null) { this.outputStream = new CoyoteOutputStream(this.outputBuffer); } return this.outputStream; } Javassist
- 15. package org.apache.catalina.connector; public class Response implements HttpServletResponse { public ServletOutputStream getOutputStream() throws IOException { if (this.usingWriter) { throw new IllegalStateException(…)); } this.usingOutputStream = true; if (this.outputStream == null) { this.outputStream = new CoyoteOutputStream(this.outputBuffer); } return this.outputStream; } ctClass.getDeclaredMethod("getOutputStream").insertAfter( "if (" + _interceptor + " != null) {" + " $_ = (ServletOutputStream)" + _interceptor + ".getOutputStream($_);" + "}"); Javassist
- 16. package org.apache.catalina.connector; public class Response implements HttpServletResponse { public ServletOutputStream getOutputStream() throws IOException { if (this.usingWriter) { throw new IllegalStateException(…)); } this.usingOutputStream = true; if (this.outputStream == null) { this.outputStream = new CoyoteOutputStream(this.outputBuffer); } if (_interceptor != null) { this.outputStream = (ServletOutputStream)_interceptor .getOutputStream(this.outputStream); } return this.outputStream; }
- 18. Windows: Ctrl+Break *nix: kill -3 PID "http-nio-8080-exec-1"#40 daemon prio=5 os_prio=31 tid=0x00007fd7057ed800 nid=0x7313 runnable java.lang.Thread.State: RUNNABLE at o.s.s.p.w.OwnerController.processFindForm(OwnerController.java:89) at s.r.NativeMethodAccessorImpl.invoke0(Native Method) at s.r.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at s.r.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at j.l.r.Method.invoke(Method.java:497) Сэмплирование
- 19. Интервал : 20 мс Кол-во сэмплов: 4
- 20. Интервал : 1 мс Кол-во сэмплов: 100+
- 24. Java Mission Control Java 7u40 Honest Profiler https://github.com/RichardWarburton/honest-profiler AsyncGetCallTrace JVMTI Как обуздать safepoint bias?
- 25. main() foo() bar() baz() Инструментирующий профилировщик Высокие накладные расходы для быстрых методов
- 26. public void businessMethod() { long start = System.currentTimeMillis(); work(); Profiler.log(System.currentTimeMillis()-‐start); }
- 27. public void businessMethod() { long start = System.nanoTime(); work(); Profiler.log(System.nanoTime()-‐start); }
- 28. public void businessMethod() { Profiler.start("businessMethod"); try { work(); } finally { Profiler.log("businessMethod"); } }
- 29. System.nanoTime Параллельный поток для замеров времени sleep-wakup-update yield-wakup-update busy-loop-update
- 30. class Profiler { Loop loop; public static void start(String method) { long now = loop.getTime(); … }
- 31. public class Loop implements Runnable { private volatile long time; public void run() { while (running) { time = System.nanoTime(); sleep(); } } public final long getTime() { return time; } Busy Loop
- 32. Наносекунды в приближении Чтение памяти имеет цену Занимает циклы процессора = ns Каждый слой ПО добавляет к цене. JVM, JNI, OS, HW http://shipilev.net/blog/2014/nanotrusting-nanotime/ Nanotrusting the NanoTime
- 33. Наносекунды в приближении http://shipilev.net/blog/2014/nanotrusting-nanotime/ Nanotrusting the NanoTime granularity_nanotime: 26.300 +- 0.205 ns latency_nanotime: 25.542 +- 0.024 ns granularity_nanotime: 29.322 +- 1.293 ns latency_nanotime: 29.910 +- 1.626 ns granularity_nanotime: 371,419 +- 1,541 ns latency_nanotime: 14,415 +- 0,389 ns Linux Solaris Windows
- 34. Thread.sleep Win8: 1.7 мс (JNI + socket poll: 1.0 ms ) Linux: 0.1 мс OS X: 0.05 мс Всё таки загружает ядро процессора на 25-50% Thread.yield Планировшик в Windows может проигнорировать наш поток в случае высокой загрузки процессора
- 35. public class Loop implements Runnable { private volatile long time; public void run() { while (running) { time = System.nanoTime(); sleep(); } } private void sleep() { if (!MiscUtil.isWindows()) { Thread.yield(); } } Busy Loop
- 36. Busy Loop public class Loop implements Runnable { private volatile long time; public void run() { while (running) { time = System.nanoTime(); sleep(); } } private void sleep() { if (!MiscUtil.isWindows()) { Thread.yield(); } }
- 37. Busy Loop public class Loop implements Runnable { private volatile long time; public void run() { while (running) { time = System.nanoTime(); sleep(); } } private void sleep() { if (!MiscUtil.isWindows()) { Thread.yield(); } }
- 39. main() foo() bar() baz() 2 3 5 boo() Дисбаланс ошибки для веток с разной глубиной
- 42. Оптимизации LeafMethodAnalyser(AbstractMethodBodyAnalyser mv) { super(mv, not(eq(VISIT_METHOD_INSN)), not(eq(VISIT_INVOKE_DYNAMIC_INSN)), not(eq(VISIT_JUMP_INSN))); }
- 43. Оптимизации public int calculateMargin(Order order){ return order.grossPrice() / order.salesPrice() * 100; } public int grossPrice() { return gross; } public int grossPrice(); Code: 0: aload_0 1: getfield #2 // Field gross:I 4: ireturn Не вызывает других методов Нет циклов Можно игнорировать
- 44. 44 Потоки
- 45. val r = new Runnable(){} val t = new Thread(r) t.start() t.join() public void run() { doSomething(); }
- 46. Runnable r = new Runnable(){ public void run() { doSomething(); } };
- 47. Runnable r = new Runnable(){ private WeakReference<Context> ctx; public void run() { Context sink = ctx.getChildContext(); sink = Sinks.startAsync(sink); try { doSomething(); } finally { Sinks.stopAsync(sink); } } };
- 49. Внешние вызовы
- 50. JDBC > Вариант 1. Proxy > Вариант 2. Список известных нам классов. Что знаем, то и инструментируем. > Вариант 3. Есть известные интерфейсы - сканируем иерархию классов Привет, ClassCastException Замедление старта приложения Привет, DB2
- 56. Что уже есть? > Разные $$$ APM-продукты: Dynatrace, AppDynamics > Dapper > ZipKin http://research.google.com/pubs/pub36356.html http://zipkin.io NB! Требуется серверная часть
- 58. Request headers GET /supplements/ HTTP/1.1 X-XRebel-Event-Id: 6a61eb15-23f1-40ea-a30d-2f62d616a196 X-XRebel-Version: 3.0.2 Cache-Control: no-cache Pragma: no-cache User-Agent: Java/1.8.0_51 Host: localhost:8080 Response headers HTTP/1.1 200 OK Server: Apache-Coyote/1.1 X-XRebel-Event-Id: c5603281-a745-416e-8f27-92ba47c76b26 X-XRebel-Version: 3.0.2 X-xr-bookmark: 3197589b-bc9f-44ab-a2aa-12557a39b090 Content-Type: application/json;charset=ISO-8859-1
- 60. This slide is intentionally left blank