dtrace и немного магии

и немного магии

Saturday, September 28, 13

Dtrace: что за зверь?

• Инструмент• Язык• Образ мыслей• Сообщество


У нас есть проблемы...

• Отладка• Профилирование• Трассировка• Сбор статистики


И есть инструменты...

• Отладка: gdb, mdb

• Профилирование: oprofile

• Трассировка: truss, strace

• Сбор статистики: kstats, statfs


Много инструментов...

• Отладка: gdb, mdb

• Профилирование: oprofile

• Трассировка: truss, strace

• Сбор статистики: kstats, statfs


• Отладка• Профилирование• Трассировка• Сбор статистики

One tool to rule them all

Dtrace



• Язык D



• Язык D• Consumers




• Библиотека




• Библиотека• Фреймворк




• Библиотека• Фреймворк• Точки инструментирования




• Библиотека• Фреймворк• Точки инструментирования• Провайдеры


Среда обитания

Software stack


Probes% sudo dtrace -l ID PROVIDER MODULE FUNCTION NAME 1 dtrace BEGIN 2 dtrace END 3 dtrace ERROR 4 fbt fcsm fcsm_job_cache_constructor entry 5 fbt fcsm fcsm_job_cache_constructor return 6 fbt fcsm fcsm_job_cache_destructor entry 7 fbt fcsm fcsm_job_cache_destructor return... 5759 syscall read entry 5760 syscall read return 5761 syscall write entry 5762 syscall write return...6518 proc genunix cfork create 6519 sysinfo genunix cfork sysfork 6520 proc genunix proc_exit exit 6521 proc genunix lwp_exit lwp-exit 6522 proc genunix proc_exit lwp-exit


Probes% sudo dtrace -l ID PROVIDER MODULE FUNCTION NAME 1 dtrace BEGIN 2 dtrace END 3 dtrace ERROR 4 fbt fcsm fcsm_job_cache_constructor entry 5 fbt fcsm fcsm_job_cache_constructor return 6 fbt fcsm fcsm_job_cache_destructor entry 7 fbt fcsm fcsm_job_cache_destructor return... 5759 syscall read entry 5760 syscall read return 5761 syscall write entry 5762 syscall write return...6518 proc genunix cfork create 6519 sysinfo genunix cfork sysfork 6520 proc genunix proc_exit exit 6521 proc genunix lwp_exit lwp-exit 6522 proc genunix proc_exit lwp-exit

Format: provider:module:function:nameExample: proc:genunix:cfork:create


Язык D

Переменная

ПробаПредикат

Действие

#!/usr/sbin/dtrace -s

BEGIN {! c = 0;! printf("How many times does ls call read?");}

syscall::read:entry/execname == "ls"/{

c++;}

END {! printf("\t%d times", c);}

% ./test.ddtrace: script './test.d' matched 3 probesCPU ID FUNCTION:NAME 0 1 :BEGIN How many times does ls call read?^C 0 2 :END ! 6 times

Переменная

Проба

Предикат

Тело


Язык D#!/usr/sbin/dtrace -s

BEGIN {! c = 0;! printf("How many times does ls call read?");}

syscall::read:entry/execname == "ls"/{

c++;}

END {! printf("\t%d times", c);}

% ./test.ddtrace: script './test.d' matched 3 probesCPU ID FUNCTION:NAME 0 1 :BEGIN How many times does ls call read?^C 0 2 :END ! 6 times

Not thread safe!


Отладка


Отладка: волшебный printf

• printf(...);

• std::cout << ... << std::end;

• System.out.println(...);

• echo “...”;

• log(loglevel, message)


Отладка: проблема останова

• make CFLAGS=-DDEBUG

• rmmod; insmode


• Не останавливаем приложение

• Не перекомпилируем• Не запускаем его в дебагере

• Подключаемся на лету когда угодно и куда угодно• Почти не теряем в производительности

Отладка: dtrace


Дебажим: кто сказал мяу?Дано: некий демон zpool_worker активно дергает функции библиотеки libzfs.Одна из библиотечных функций, zpool_vdev_attach(), по непонятной причиневозвращает ошибку.

Задача: Залезть в дебри libzfs и понять откуда именно и почему возвращаетсяошибка


Дебажим: кто сказал мяу?#!/usr/sbin/dtrace -s

pid$target::zpool_vdev_attach:entry{ self->trace = 1;}

pid$target:libzfs::return/self->trace && (int)arg1 == -1/{ ustack(); exit(0);}

Провайдер pid, развернется в pid<ARG>





Модуль, нету модуля





Имя пробы





Thread local variable





Цепляемся ко всем функциям из libzfs





Выполнить только если:a) Мы пришли из zpool_vdev_attach()b) Код возврата (arg1) == -1





Распечатать стэк и выйти


Дебажим: кто сказал мяу?% ./who_said_meow.d -p 373dtrace: script './who_said_meow.d' matched 478 probesCPU ID FUNCTION:NAME 0 52733 zfs_ioctl:return libzfs.so.1`zfs_ioctl+0x2c zpool_worker`do_zpool_attach_or_replace+0x154 zpool_worker`zpool_rpc_attach+0x9f zpool_worker`attach_invoke+0x70 zpool_worker`rpc_invoke+0xbb zpool_worker`rpc_server_loop+0x9d zpool_worker`rpc_worker_main_mode+0xc9 zpool_worker`rpc_worker_main+0x20 zpool_worker`main+0x6c zpool_worker`_start+0x83


Дебажим: кто сказал мяу?

% dtrace -n 'fbt::zfs_ioc_vdev_attach:return /execname=="zpool_worker"/ {trace(arg1);}'dtrace: description 'fbt::zfs_ioc_vdev_attach:return ' matched 1 probeCPU ID FUNCTION:NAME 0 60612 zfs_ioc_vdev_attach:return 16

Проделаем то же самое в пространстве ядра.Для начала узнаем код ошибки...




FBT: провайдер точек инструментирования ядерных функций




Запускать пробу только если функцию дернул zpool_worker



fbt::zfs_ioc_vdev_attach:entry/execname == "zpool_worker"/{ self->trace = 1;}

fbt:zfs::return/self->trace && arg1 == 16/{ stack(); exit(0);}


Дебажим: кто сказал мяу?% ./who_said_meow_kern.ddtrace: script './who_said_meow_kern.d' matched 2439 probesCPU ID FUNCTION:NAME 0 61288 spa_open_ref:return zfs`spa_open_common+0x279 zfs`spa_open+0x23 zfs`zfs_ioc_vdev_attach+0x32 zfs`zfsdev_ioctl+0x327 genunix`cdev_ioctl+0x45 specfs`spec_ioctl+0x5a genunix`fop_ioctl+0x7b genunix`ioctl+0x18e unix`_sys_sysenter_post_swapgs+0x149


Flowindent: что делает redis?

#!/usr/sbin/dtrace -s#pragma D option flowindent

pid$target:::entry{}

pid$target:::return{}


Flowindent: что делает redis?% ./trace_redis.d -p 17926 ... 0 -> aeProcessEvents 0 -> gettimeofday 0 -> __commpage_gettimeofday 0 -> mach_absolute_time 0 <- mach_absolute_time 0 <- __commpage_gettimeofday 0 <- gettimeofday 0 -> kevent 0 <- kevent 0 -> time 0 -> fegetenv 0 -> bzero$VARIANT$sse42 0 <- bzero$VARIANT$sse42 0 <- fegetenv 0 -> gettimeofday 0 -> __commpage_gettimeofday 0 -> mach_absolute_time 0 <- mach_absolute_time 0 <- __commpage_gettimeofday 0 <- gettimeofday 0 -> fesetenv 0 <- fesetenv 0 <- time 0 -> gettimeofday 0 -> __commpage_gettimeofday 0 -> mach_absolute_time 0 <- mach_absolute_time 0 <- __commpage_gettimeofday 0 <- gettimeofday


Статистика


Статистика

• Dtrace - прекрасный инструмент для сбора статистики

• Dtrace умеет считать

• Dtrace умеет измерять

• Dtrace даже умеет визуализировать


Статистика: quantize#!/usr/sbin/dtrace -s

pid$target::malloc:entry{! @a = quantize(arg0)}




Aggregation




Aggregation:@a.append(arg0)quantize(@a)


Статистика: quantize

% ./showmalloc.d -p 17926 # Redis... value ------------- Distribution ------------- count 4 | 0 8 |@@@@@@@@ 70 16 |@@@@@@@@@@@@@@@@@@@@@ 187 32 |@@@ 23 64 |@@@@@ 47 128 |@@@ 23 256 | 0


Статистика: quantize% ./showmalloc.d -p 17926 # Safari... value ------------- Distribution ------------- count -1 | 0 0 | 2 1 | 4 2 | 0 4 | 72 8 |@@@@@ 1362 16 |@@@@@@@@@ 2395 32 |@@@@@@ 1604 64 |@@@@@@ 1663 128 |@@@ 840 256 |@@ 401 512 |@@@@ 1128 1024 |@ 295 2048 |@ 252 4096 |@ 150 8192 | 2 16384 | 7 32768 | 32 65536 | 80 131072 | 1 262144 | 0 524288 | 0 1048576 | 1Saturday, September 28, 13

Кто стучится в порт ко мне?#!/usr/sbin/dtrace -s

tcp:::receive/args[4]->tcp_dport == 80/{ @pkts[args[2]->ip_saddr] = count();}




struct tcpinfo (TCP header fields)




struct ipinfo (IP information)




Императивная запись:@pkts[<ip_daddr>]++



tcp:::receive/args[4]->tcp_dport == 80/{ @pkts[args[2]->ip_daddr] = count();}

% ./port.d... 192.168.0.50 34 192.168.0.102 11 192.168.0.12 2


Trace disk I/O size


io:::start{ printf("%d %s %d", pid, execname, args[0]->b_bcount);}


Trace disk I/O size



struct bufinfo (абстракция, описывающаяI/O request)


Trace disk I/O size



% ./iostat.ddtrace: description 'io:::start ' matched 1 probeCPU ID FUNCTION:NAME 0 1031 buf_strategy:start 183 cfprefsd 4096 2 1031 buf_strategy:start 183 cfprefsd 4096 0 1031 buf_strategy:start 222 iTerm 24576 0 1031 buf_strategy:start 222 iTerm 4096 0 1031 buf_strategy:start 7098 Keynote 4096 0 1031 buf_strategy:start 7098 Keynote 4096 2 1031 buf_strategy:start 78602 Mail 4096 2 1031 buf_strategy:start 78602 Mail 4096 2 1031 buf_strategy:start 78602 Mail 4096


Покажи свои файлы


syscall::open:entry{ printf("%s %s", execname, copyinstr(arg0));}

% ./trace_opens.ddtrace: description 'syscall::open*:entry ' matched 4 probesCPU ID FUNCTION:NAME 4 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/data.data 4 141 open:entry ocspd /private/var/db/crls/crlcache.db 5 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/window_142.data 5 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/.DS_Store 6 141 open:entry mds . 6 141 open:entry Safari /Users/dk/Library/Saved Application State/com.apple.Safari.savedState/data.data 6 141 open:entry Safari /Users/dk/Library/Saved Application State/com.apple.Safari.savedState/windows.plist


Покажи свои файлы


syscall::open:entry{ printf("%s %s", execname, copyinstr(arg0));}

% ./trace_opens.ddtrace: description 'syscall::open*:entry ' matched 4 probesCPU ID FUNCTION:NAME 4 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/data.data 4 141 open:entry ocspd /private/var/db/crls/crlcache.db 5 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/window_142.data 5 141 open:entry mdworker /Users/dk/Library/Saved Application State/com.googlecode.iterm2.savedState/.DS_Store 6 141 open:entry mds . 6 141 open:entry Safari /Users/dk/Library/Saved Application State/com.apple.Safari.savedState/data.data 6 141 open:entry Safari /Users/dk/Library/Saved Application State/com.apple.Safari.savedState/windows.plist

не забываем, что мы в пространстве ядра


Профайлим


Где самые горячие функции?#!/usr/sbin/dtrace -s

profile-997/arg1/{ @a[execname, ufunc(arg1)] = count();}

tick-60s{ trunc(@a, 5); exit(0);}

провайдер profile





user mode





составной ключ





% ./hotfuncs.dCPU ID FUNCTION:NAME 4 288995 :tick-60s Aquamacs Aquamacs`Fassoc WebProcess JavaScriptCore`JSC::SlotVisitor::copyAndAppend WebProcess JavaScriptCore`JSC::Structure::visitChildren Aquamacs Aquamacs`assq_no_quit Skype libobjc.A.dylib`objc_msgSend


Волшебный timestamp


nfsv3:::op-write-start{ self->write_start_time = timestamp;}

nfsv3:::op-write-done{ this->diff = timestamp - self->write_start_time; @a1["avg"] = avg(this->diff); @a2["min"] = min(this->diff); @a3["max"] = max(this->diff); @plot = quantize(this->diff);}

tick-60s{ exit(0);}






tick-60s{ exit(0);}

Используем thread localпеременную






tick-60s{ exit(0);}






tick-60s{ exit(0);}

avg(all diffs in @a1)min(all diffs in @a2)max(all diffs in @a3)



% ./nfsv3_write_perf.d avg 31157 min 8472 max 19504129

value ------------- Distribution ------------- count 4096 | 0 8192 |@@@@@@@@@@ 2472 16384 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ 6610 32768 |@@ 536 65536 | 36 131072 | 1 262144 | 9 524288 | 69 1048576 | 13 2097152 | 3 4194304 | 0 8388608 | 1 16777216 | 0


Flamegraphs


Flamegraphs% dtrace -x ustackframes=100 -n ‘profile-997 /execname == “mysqld”/ {@[ustack()] = count();} tick-60s {exit(0);}’ > out.user_stacks

% ./stackcollapse.pl out.user_stacks | ./flamegraph.pl > graph.svg


Dtrace в разных ОС

• OpenSolaris/Illumos

• FreeBSD

• NetBSD

• MacOSX

• Oracle Solaris

• Oracle Linux?


What about GNU/Linux

We don’t take kindly dtrace guyslike you


Есть ли жизнь вне C?

• С++: name mangling

• Java: USDT

• node.js, perl, ruby: libusdt based providers

• libusdt: github.com/chrisa/libusdt/


Полезные ссылки• http://www.brendangregg.com/dtrace.html

• http://www.dtracebook.com/index.php/Main_Page

• https://wiki.freebsd.org/DTrace

• https://blogs.oracle.com/rweisner/entry/dtrace_and_c_objects

• http://www.joyent.com/blog/bruning-questions-debugging-node-apps-with-dtrace

• https://github.com/chrisa/libusdt

• http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/


http://www.brendangregg.com/dtrace.html

http://www.brendangregg.com/dtrace.html

http://www.dtracebook.com/index.php/Main_Page

http://www.dtracebook.com/index.php/Main_Page

https://wiki.freebsd.org/DTrace

https://wiki.freebsd.org/DTrace

https://blogs.oracle.com/rweisner/entry/dtrace_and_c_objects

https://blogs.oracle.com/rweisner/entry/dtrace_and_c_objects

http://www.joyent.com/blog/bruning-questions-debugging-node-apps-with-dtrace

http://www.joyent.com/blog/bruning-questions-debugging-node-apps-with-dtrace

https://github.com/chrisa/libusdt

https://github.com/chrisa/libusdt

http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/

http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/

Вопросы


dtrace и немного магии

Technology