gihyo.jp » DEVELOPER STAGE » 特集 » memcachedを知り尽くす » 第2回 memcachedのメモリストレージを理解する

memcachedを知り尽くす

第2回 memcachedのメモリストレージを理解する

株式会社ミクシィ 研究開発グループの前坂です。前回の記事でmemcachedは分散に長けた高速なキャッシュサーバであることが紹介されました。今回はmemcachedの内部構造がどう実装されているのか,そしてメモリがどう管理されているのかをご紹介します。また,memcachedの内部構造の事情による弱点も紹介します。

メモリを整理して再利用するSlab Allocationメカニズム

昨今のmemcachedはデフォルトでSlab Allocatorというメカニズムを使ってメモリの確保・管理を行っています。このメカニズムが登場する以前のメモリ確保の戦略は,単純にすべてのレコードに対してmallocとfreeを行うといったものでした。しがしながら,このアプローチではメモリにフラグメンテーション(断片化)を発生させてしまい,OSのメモリマネージャに負荷をかけ,最悪の場合だとmemcachedのプロセスよりも重くなってしまうという問題が発覚しました。この問題を克服するために生まれたのがSlab Allocatorです。

Slab Allocatorの仕組みを見てみましょう。以下がmemcachedのドキュメントから引用したslab allocatorの目標です:

the primary goal of the slabs subsystem in memcached was to eliminate memory fragmentation issues totally by using fixed-size memory chunks coming from a few predetermined size classes.

つまりSlab Allocatorの基本は確保したメモリをあらかじめ決められたクラスサイズに応じた固定長の固まりに分けて,フラグメンテーション問題を完全に克服するということです。

Slab Allocationの仕組みは簡素で,確保したメモリをさまざまなサイズの固まり(chunk)に分けて,同じサイズの固まりをクラス(chunkの集合,またはchunkのサイズを定めるクラス)に整理します(図1)。

図1 Slab Allocationのイメージ

図1 Slab Allocationのイメージ

また,slab allocatorには「確保したメモリは再利用する」という目標もあります。したがって,memcachedは一度確保したメモリは解放せず,常にchunkを再利用します。

Slab Allocatorの主な用語

Page

デフォルトで1MB確保され,Slabに割り当てられるメモリ領域。Slabに割り当てられた後に,slabのサイズに応じたchunkに切り分けられる。

Chunk

レコードをキャッシュするためのメモリ領域。

Slab Class

特定のサイズのchunkをまとめるクラス。

Slabにレコードをキャッシュする仕組み

クライアントから送信されたデータを,memcachedはどのようにslabを選び,chunkにキャッシュするかを説明します。

memcachedは受けとったデータのサイズを参照し,データサイズにもっとも適したslabを選びます(図2)。memcachedはslab内の使用可能なchunkのフリーリストを保持しているので,このリストを基にchunkを選び,そこにキャッシュします。

図2 レコードを格納するクラスの選択方式

図2 レコードを格納するクラスの選択方式

ここまで紹介したSlab Allocatorですが,利点ばかりではなく弱点も存在します。次はその弱点を説明します。

著者プロフィール

前坂徹(まえさか とおる)

株式会社ミクシィ 研究開発グループにて,オープンソース技術の開発・検証を担当しています。memcachedの開発コミュニティのメンバーでもあり,現在は1.3シリーズの開発に携わっています。

URLhttp://torum.net/

コメント

コメントの記入

パスサポ

多数の情報処理技術者試験対策書籍の発行実績を誇る技術評論社がお届けする,資格試験合格サイト「めざせ! 情報処理試験 パスサポ」が開設されました。

ピックアップ

サクセスストーリーに続く,快適サーバー運用管理のヒント!

データの増大,煩雑な管理,システムダウン,セキュリティなど,迫りくる課題からシステム管理者の負担を軽くするポイントを解説します。

gihyo.jp インフラエンジニア情報局

ネットワークやITにかかわるあらゆる業種で必要とされるインフラエンジニアに向けた技術情報や心構え,その魅力について多角的に紹介。

テストエンジニア ステーション

いま,ITに関わるあらゆる開発業務で注目されつつあるテスト系エンジニアをターゲットにしたコンテンツサイトを展開します。

一行クイックアンケート

gihyo.jpで取り上げてほしいネタは?

※検索はページ右上の検索ボックスをご利用ください。

その他の連載

もっと便利に!jQueryでラクラクサイト制作(実践サンプル付き)

本連載では,実践サンプルとともに,jQueryを上手に活用してサイト制作の品質向上・効率化を実現するための実践テクニックを解説します。

サクセスストーリーに続く,快適サーバー運用管理のヒント!

サーバーを自社で運用管理するのはもう限界…。データの増大,煩雑な管理,システムダウン,セキュリティなど,迫りくる課題からシステム管理者の負担を軽くするポイントを解説します。

続・先取り! Google Chrome Extensions

2010年1月のリリースが予定されているGoogle Chrome 4に搭載されるExtensionsについて,その詳細を先取りで解説します。最新情報から,ユーザースクリプトやテーマの作り方など関連情報もお届けします。

モダンPerlの世界へようこそ

この連載では,Perlの世代間ギャップに悩んでいる方に,いくらかの背景知識と,これだけは知っておいたほうがよいという最低限の慣用句をお届けします。

Hosting Department:ホスティングを活用するための基礎知識

本連載では,ホスティングサービスを活用する上で知っておきたい基礎知識を解説します。

Blogopolisから学ぶ計算幾何

計算幾何学は,図形に関するアルゴリズムを研究するコンピュータサイエンスの一分野です。本連載では,ビジュアルブログ検索エンジン「Blogopolis」で採用されている計算幾何のアプローチを例に取り上げながら,計算幾何の初歩を実践的に学習します。

Windows phoneアプリケーション開発入門

Windows Marcketplace for Mobileがサービス開始され,作成したアプリケーションを個人でも世界をターゲットに公開できる環境が整ってきました。これを機にWindows phoneアプリケーションの開発をしてみませんか?

いま,見ておきたいウェブサイト

この連載では,国内外の最新のウェブサイトを隔週更新で取り上げ,これら最新サイトの特徴や素晴らしい部分を,さまざまな角度から解説していきます。

連載一覧

gihyo.jp

  • DEVELOPER STAGE
  • ADMINISTRATOR STAGE
  • WEB+DESIGN STAGE
  • LIFESTYLE STAGE
  • SCIENCE STAGE
  • NEWS & REPORT

書籍案内

  • 新刊書籍
  • 書籍ジャンル一覧
  • 書籍シリーズ一覧
  • 新刊ピックアップ
  • ロングセラー
  • 電脳会議

定期刊行物一覧

  • Software Design
  • WEB+DB PRESS
  • Web Site Expert
  • 組込みプレス

最近のコメント