AmazonのElastic MapReduceを必要なときだけ使えるスーパーコンピューターとして使っている事例
IT ConversationsでAmazon Web Service (AWS)の1つであるElastic MapReduce (EMR)の事例紹介があった。いずれもAWSのデータ保存サービスであるS3を使っている会社が、EMRを必要なときだけ使える「スーパーコンピューター」として使っている、と紹介している。私自身は多数のサーバーから構成されるMapReduceクラスターを「スーパーコンピューター」とは捉えていなかったが、言われて見れば大規模な計算能力を提供してくれるわけで、スーパーコンピューターと言えると思う。
以下が、前述のリンク先のポッドキャストで紹介されている事例である。
Amazonが配送センターで、どの商品を鍵がかかる部分に置くか
Amazonでは世界全体で15億種類の商品を扱っていて、配送センターは200箇所に持っている。配送センターで商品の盗難を防ぐために、一部の商品は鍵がかかる部分に置いている。盗まれやすいものは、必ずしも高価なものとは限らない。発売直後で人気のあり、流通量が限られている電子機器は高価ではなくても盗難されやすい。いっぽう鍵がかかる部分に置ける商品の量には限りがある。それらを考慮してどの鍵がかかる部分に置く商品を決めなければならない。盗難を働く人は盗む価値があるものの変化に敏感なので、それに迅速に対応しなければならない。
S3に保存された15億種類の商品データに対して毎週1500万件の更新がある。それをElastic MapReduceを使って30分毎に分類しなおしている。