Visualizenetworktraffic 20181108
- 2. 自己紹介と注意事項 氏名: 梅野 崇 (うめの たかし) 所属: 富士通株式会社 ※発表内容は発表者個人によるものであり、会場や組織を代表する ものではありません。 ※パケットや通信フローには機微な情報が含まれます。作成環境は 「通信の秘密」を尊重して使用してください。 ※KibanaはTCP 5601を使用して通信を行い、grafanaはTCP 3000を 使用して通信を行います。TCP 5601やTCP 3000に対して外部から 不正な通信を行われないための対策(IPフィルタなど)を行ってくだ さい。
- 3. はじめに Wiresharkで大量のパケット(1GB以上)を追うのは大変 ネットワークのフロー情報から有用な情報を得たい netflowやIPfixのフロー情報の可視化環境構築は面倒 →VagrantやAnsibleを用いてフロー情報の可視化環境をパソコン 上で簡単に作成できる様にした。 visualize network traffic by ELK6 https://github.com/t-umeno/visualize_network_traffic https://github.com/t- umeno/visualize_network_traffic/blob/master/README.ja.md
- 4. 動作環境 メモリ8GB以上のWindows,Mac,Linux 対象となるネットワークに接続可能なNIC git VirtualBox Vagrant vagrant-disksize plugin vagrant-proxyconf plugin (http proxy使用環境) vagrant-vbguest (オプション) firefox or chrome (IE, edge不可)
- 5. 構成 YAFでNICから受信したパケット をIPfix形式のフロー情報に変換 IPfixをsuper_mediatorでJSON ファイルに変換 JSONファイルをLogstash経由で Elasticsearchに入力 Elasticsearchでフロー情報検索 Elasticsearchの検索結果をKibana でWebブラウザにダッシュボー ド表示 上記構成のVMをVagrantと Ansibleで生成 YAF • パケットをIPfix形式のフロー情報に変換 super_me diator • IPfixをJSONファイルに変換 Logstash • JSONファイルをElasticsearchに入力 Elasticsear ch • フロー情報の検索 Kibana • Elasticsearchの検索結果をダッシュボードに表示
- 6. インストール $ export http_proxy="http://aaa.bbb.ccc.ddd:8080/" # option $ export https_proxy="http://aaa.bbb.ccc.ddd:8080/" # option $ vagrant plugin install vagrant-proxyconf # if you use proxy $ vagrant plugin install vagrant-vbguest # option $ vagrant plugin install vagrant-disksize $ cd ansible/ELK6/playbooks $ vagrant up (snip) (select network interface for packet capture) ==> default: Available bridged network interfaces: 1) en1: Wi-Fi (AirPort) 2) bridge0 3) en0: Ethernet 4) en2: Thunderbolt 1 5) p2p0 ==> default: When choosing an interface, it is usually the one that is ==> default: being used to connect to the internet. default: Which interface should the network bridge to? 3
- 7. Git for Windows インストールの注意事項 Windows 環境で git for Widnows https://gitforwindows.org/ を使用する場合は改 行コードを一切変更しない設定(Checkout as-is, commit as-is)でインストールして ください。
- 8. 使用方法(shell) $ cd ansible/ELK6/playbooks $ vagrant ssh vagrant@ubuntu-xenial:~$ super_mediator.sh vagrant@ubuntu-xenial:~$ yaf.sh enp0s8 >& /dev/null &
- 9. 認証proxy(http,https)使用時の注意事項 ユーザ名 ”hoge”,パスワード ”1234”, proxy ”http://aaa.bbb.ccc.ddd:8080/ の場合 $ export http_proxy="http://hoge:[email protected]:8080/" $ export https_proxy=“http://hoge:[email protected]:8080/” ユーザ名 ”[email protected]”,パスワード ”1234”, proxy ”http://aaa.bbb.ccc.ddd:8080/ の場合 $ export http_proxy="http://fuga.hoge%40example.com:[email protected]:8080/" $ export https_proxy="http://fuga.hoge%40example.com:[email protected]:8080/"
- 12. ダッシュボード(bar2) その1 5タプル(src IP, dst IP, src port, dst port, protocol)以外 の情報も表示します。 フロー数推移(当日、1日 前、1週間前) DNS問い合わせ名 順方向、逆方向のオク テット数推移(当日、1日 前、1週間前)
- 13. ダッシュボード(bar2) その2 フロー数 src IP(IPv4, IPv6両方) src MAC dst IP(IPv4, IPv6両方) dst MAC
- 14. ダッシュボード(bar2) その3 フロー数 dst port(TCP) dst port(UDP) 順方向、逆方向の最初の TCPflag(SYN, SYN+ACK, RST,無応答等) src IP dst IP dst Port protocol(TCP, UDP)
- 15. ダッシュボード(bar2) その4 フロー数 http Host ICMP(1),IGMP(2),TCP(6),UDP(17)等のプ ロトコル番号 http Referer http Get http UserAgent (右図の範囲外) http ServerString (右図の範囲外) bar2以外にもbar,circle,circle2,main等各 種ダッシュボードあり YAFで取得したパラメタを表示する ダッシュボードを作成可能
- 16. Grafana ElasticSearch YAF count flow count octetTotalCount (Sum flows octetTotalCount, Sum flows reverseOctetTotalCount) packetTotalCount (Sum flows packetTotalCount, Sum flows reversePacketTotalCount) flow count, octetTotalCount, packetTotalCountの値でアラートを送 信する際に使用してください。 メールやslackなどGrafanaで使用可能 な手段でアラートを通知できます。
- 17. ToDo ドキュメント作成 設定ファイルでVMのディスク容量などを変更可能にする リバースプロキシを利用してダッシュボードに認証機能追加
- 18. URL Visualize network traffic by ELK6 https://github.com/t-umeno/visualize_network_traffic https://t-umeno.github.io/visualize_network_traffic/ VirtualBox https://www.virtualbox.org/ Vagrant https://www.vagrantup.com/ Elasticsearch https://www.elastic.co/jp/ YAF https://tools.netsa.cert.org/yaf/
- 19. ご清聴ありがとうございました