前回は，Amazon Redshiftの起動から，ローカルマシンでAmazon Redshiftクラスタへ接続するまでの説明を行いました。今回は，Amazon Redshiftを実際に運用する上で重要となるデータのロードを中心に，例を交えて説明していきます。なお，チュートリアルの中で利用するデータはAmazon Redshift Getting Started Guideで紹介されているデータを利用しています。

本連載のチュートリアルは，AWSアカウント，起動中のAmazon Redshiftクラスタ，また接続するクライアントツールがすでに準備されていることを前提としています（※⁠）⁠。実際に試される方は，前回の記事を参考に環境準備をしておいてください。

※）

Hapyrusでは，RedshiftとFlyDataをお試しいただけるSandbox環境を無料で提供しています。また，ブラウザ上からRedshiftに対してSQLが実行できる機能もありますので，無料のRedshift環境にご興味のある方はぜひこちらからのご登録をおすすめします。

テーブルの作成

データのロードの前に，まずテーブルを作成する必要があります。Amazon Redshift Getting Started Guide - Step5に記載されているCREATE文（users, venue, category, date）全てをコピーし，SQLをRedshiftクラスタ上で実行してみましょう（図1⁠）⁠。

これらのCREATE文は，MySQLやPostgreSQL上での実行するものと特段変わりませんが，distkey, sortkeyといった見慣れないキーワードがあることに気づくでしょう。これらは，設定したカラムのデータをどのようにRedshiftクラスタ上に配置するか，その配置方法について示すもので，データをロードした後のSELECTクエリを発行する際のパフォーマンスに大きく影響します。

デフォルトでは，Redshiftはクラスタの全ノードに均等にデータが分散されるようにデータを保存しますが，distkeyを指定したカラムは同じ値の場合に同じノードに保存されるようになり，そのカラムを含むテーブルをJOINで結合するSQLの高速化が期待できます。sortkeyは，指定したカラムの値がソートされてノードに保存されるようになり，たとえばタイムスタンプをsortkeyと指定することで，タイムスタンプをWHERE句で範囲指定したSELECTクエリのパフォーマンスの向上が期待できます。このためPostgreSQLやOracleなどのテーブルのパーティショニングは，Redshiftでは必要ありません。

その他，PostgreSQLと異なり，以下のような点に注意する必要があります。

ALTER COLUMNは利用不可

テーブルのカラムを変更する場合は，カラムの追加と削除で対応します。

Constraintsによる制約は設定できない

primary keyのようなキー制約はクエリのオプティマイズにのみ利用され，一意制約としてデータロード時にエラーを返すといったようなことは無く，重複データをチェックする機構を持ち合わせていません。このような制御はアプリ側で行う必要があります。

サポートされているデータ型がPostgreSQLに比べて限られている

INTEGER，BIGINT，DECIMAL，REAL，DOUBLE PRECISION，BOOLEAN，CHAR，VARCHAR，DATE，TIMESTAMPをサポート。文字コードはUTF-8をサポートしています。データタイプの詳細はAmazon Redshift Developer Guide(Data Type)を参照してください。

テーブル設計に関しては，クラスタ型というアーキテクチャのため，上記以外にも通常のPostgreSQLとは異なる点があります。ここでは，これ以上深くは掘り下げませんが，テーブルをデザインやクエリの速度チューニングを行う際にはAmazon Redshift Developer Guide(Designing Table)を見直すと良いでしょう。

Redshiftへのデータのロード

Amazon Redshiftへのデータのロード方法は，以下の3通りがサポートされています。

• COPYコマンドによるAmazon S3バケットからの一括ロード
• COPYコマンドによるAmazon DynamoDBのテーブルからのインポート
• INSERTクエリによるレコード単位の追加

Amazon RedshiftのAmazon Redshift Developer Guide(Loading Data)によると，大容量のデータをロードする場合には，この中でもCOPYコマンドによるS3，DynamoDBからの一括ロードを推奨しています。これは，AWS上でデータを並列に処理してRedshiftクラスタに取り込め，ロードの効率が良いためです。これに比べ，INSERTクエリによるレコードの追加はパフォーマンスが非常に悪く，限定的な使い方になるでしょう。なお，今回はS3バケットからのロード方法について説明します。

データの作成

S3バケットからデータをロードする場合，まずCSVやTSVといったように特定文字をセパレータとしたフォーマットでファイルを作成し，S3のバケットにアップロードします。Amazonが提供しているサンプルデータでは，以下のようにパイプを区切り文字としたデータとなっています。

1|Sports|MLB|Major League Baseball
2|Sports|NHL|National Hockey League
3|Sports|NFL|National Football League

今回はAmazon提供のデータをそのまま利用するため，データの作成およびアップロードの必要はありません。

データのロード

S3にアップロードされたデータをロードするには，Redshiftクラスタへ接続したクライアントツールからCOPYコマンドを発行します。このCOPYコマンドはRedshift用に拡張されたもので，以下の通りS3のファイルのパスやAWSのアクセスキーを指定するようになっています。AWSのアクセスキーはS3バケットへアクセスするために使われます。

COPY <Redshiftクラスタ上のテーブル名> FROM 's3://<バケット名>/<ファイルパス>' CREDENTIALS 'aws_access_key_id=<あなたのAWSのアクセスキーID(Access-Key-ID)>;aws_secret_access_key=<あなたのAWSシークレットキー(Secret-Access-Key)>' <オプション>;

さっそく以下を修正し，Redshiftに接続したクライアントツールから実行してみましょう。今回利用するS3はパブリックに公開されているものですので，AWSキーは任意のもので構いません。

copy users from 's3://awssampledb/tickit/allusers_pipe.txt' CREDENTIALS 'aws_access_key_id=<あなたのAWSのアクセスキーID>;aws_secret_access_key=<あなたのAWSシークレットキー>' delimiter '|';
copy venue from 's3://awssampledb/tickit/venue_pipe.txt' CREDENTIALS 'aws_access_key_id=<あなたのAWSのアクセスキーID>;aws_secret_access_key=<あなたのAWSシークレットキー>' delimiter '|';
copy category from 's3://awssampledb/tickit/category_pipe.txt' CREDENTIALS 'aws_access_key_id=<あなたのAWSのアクセスキーID>;aws_secret_access_key=<あなたのAWSシークレットキー>' delimiter '|';
copy date from 's3://awssampledb/tickit/date2008_pipe.txt' CREDENTIALS 'aws_access_key_id=<あなたのAWSのアクセスキーID>;aws_secret_access_key=<あなたのAWSシークレットキー>' delimiter '|';
copy event from 's3://awssampledb/tickit/allevents_pipe.txt' CREDENTIALS 'aws_access_key_id=<あなたのAWSのアクセスキーID>;aws_secret_access_key=<あなたのAWSシークレットキー>' delimiter '|' timeformat 'YYYY-MM-DD HH:MI:SS';
copy listing from 's3://awssampledb/tickit/listings_pipe.txt' CREDENTIALS 'aws_access_key_id=<あなたのAWSのアクセスキーID>;aws_secret_access_key=<あなたのAWSシークレットキー>' delimiter '|';
copy sales from 's3://awssampledb/tickit/sales_tab.txt'CREDENTIALS 'aws_access_key_id=<あなたのAWSのアクセスキーID>;aws_secret_access_key=<あなたのAWSシークレットキー>' delimiter '\t' timeformat 'MM/DD/YYYY HH:MI:SS';

注意点として，S3バケットはコピー先のRedshiftクラスタと同じリージョンである必要があります。上記はUS East（Northern Virginia）のリージョンを想定したもので，RedshiftクラスタのリージョンがUS West（Oregon）リージョンの場合はawssampledbuswest2に，EU（Ireland）リージョンの場合はawssampledbeuwest1と，それぞれCOPYコマンドの中のバケット名を指定してください。