※ 配信会社から提供された企業や団体等のプレスリリースを原文のまま掲載しており、朝日新聞社が取材・執筆した記事ではありません。お問い合わせは、各情報配信元にお願いいたします。
CTC教育サービスはコラム「グーグルのクラウドを支えるテクノロジー ＞ 第90回 Googleのアプリケーション環境を支えるシャーディングシステム「Slicer」（パート3）」を公開しました。
＃＃＃
はじめに
前回に続いて、2016年に公開された論文「Slicer: Auto-Sharding for Datacenter Applications」を元にして、Googleが提供するアプリケーションのバックエンドで利用されている「シャーディングシステム」について解説します。今回は、タスクの割り当てを自動調整するシャーディングのアルゴリズムを説明します。
シャーディングのアルゴリズム
前々回の記事では、シャーディングシステムは、ロードバランサーの機能拡張にあたるものだと説明しました。新しいサービスをSlicerに登録すると、まずはじめは、キーのハッシュ値全体を同じ幅のレンジに等分割して、それぞれを同数のタスクに割り当てます。たとえば、ハッシュ値が「a以上b未満」のレンジはタスク1〜3、「b以上c未満」のレンジはタスク4〜6と言った具合で、それぞれのレンジの幅は同一になります。仮に、それぞれのキーに対するリクエスト数が同じであれば、それぞれのタスクは同数のリクエストを受け取ることになります。
もちろん、現実にはそのようなことはありません。それぞれのキーに対するリクエスト数に偏りがあるため、一部のタスクが多量のリクエストを受け取る、あるいは、CPUやメモリーなどのリソースの使用量が極端に増加するといったことが起こります。このような際に、タスクごとのリクエスト数、あるいは、リソースの使用量をなるべく均等に近づけることがSlicerの役割になります。たとえば、リクエストが多いレンジをさらに細かく分割して、別々のタスクに割り当て直すという方法が考えられます。あるいは、逆に、リクエストが少ない隣接する2つのレンジを結合して、1つのレンジにするという方法もあります。Slicerは、これら2つの方法を用いて、ハッシュ値の分割方法を調整することで、タスクごとの負荷のばらつきを抑えます。
この続きは以下をご覧ください
"割り当て" - Google ニュース
October 01, 2020 at 05:20PM
https://ift.tt/3nkoX9o
CTCテクノロジー株式会社（CTC教育サービス）：グーグルのクラウドを支えるテクノロジー ＞ 第90回 Googleのアプリケーション環境を支えるシャーディングシステム「Slicer」（パート3） - 朝日新聞社
"割り当て" - Google ニュース
https://ift.tt/2tzXCJ8
Shoes Man Tutorial
Pos News Update
Meme Update
Korean Entertainment News
Japan News Update
No comments:
Post a Comment