Japanese subtitles

← Daemons_of_Mapreduce

Get Embed Code
2 Languages

Showing Revision 1 created 03/11/2014 by Fran Ontanaya.

  1. MapReduceの概要はわかりました
  2. 次はコードの書き方を学び
  3. MapReduceをクラスタ上で動作させます
  4. クラスタについて復習しましょう
  5. HDFSではいくつかのデーモンが
  6. 各マシン上で常に稼働しています
  7. またHDFSはデータノードと
  8. ネームノードを持っています
  9. MapReduceを動作させる時
  10. ジョブトラッカーというデーモンが
  11. マッパーとリデューサへジョブを割り当てます
  12. それらは別のクラスタノードにあります
  13. 各クラスタノードには
  14. タスクトラッカーというデーモンがあり
  15. それぞれのノードで動作します
  16. タスクトラッカーとデータノードは
  17. 同じマシン上にあるため
  18. マップタスクはデータを直接操作できます
  19. 2つが同じマシン上にあることで
  20. ネットワーク上のトラフィックを減らせます
  21. 各マッパーは入力データの断片を渡されます
  22. その断片は入力スプリットと呼ばれ
  23. デフォルトではブロックになります
  24. マッパーとデータは
  25. 同じマシン上にあるようにします
  26. 例えばこの緑のブロックを処理するには
  27. 同じマシン上のタスクトラッカーを選びます
  28. ところが緑のブロックを持っている
  29. この3台のマシン上のタスクトラッカーは
  30. ビジー状態にあるかもしれません その場合は
  31. 別のノードが 緑のブロックを
  32. ネットワーク上でストリーミングして処理します
  33. これはあまり起こらないケースです
  34. マッパーが入力データを読み取り
  35. 中間データを出力してリデューサへ渡します
  36. ここでシャッフルとソートをします
    リデューサがデータを処理し結果を
  37. HDFSへ出力します イアンに実践してもらいましょう