先日やっと、新型MacBook Proが家に届きました。以前利用していたのは2008 Later MacBookです。 SSDに換装したり、バッテリーも2回も交換して使い続けていましたが、新OSが対応しなくなってしまい止む無く買い替えました。さて、実施に新MacBookをいじってい…

今日は、自動でec2インスタンスを作成してSpark Clusterを構成してくれるspark-ec2ツールを利用してクラスタを構成してみます。正式なサイトは以下です。こちらに書かれている内容に沿って実施してみます。github.com ツールの概要 spark-ec2は、Apache Spar…

前回は、SparkのStandaloneクラスタを手動スクリプトで構築して、対話シェルで動作を確認してみました。tmnj.hatenablog.com 今回は、クラスタ起動スクリプトを使用してスクリプト一発実行するだけでSparkがクラスタ構成で起動する方法を実施してみたいと思…

前回は、Apache SparkのQuick Guideを読み進めて、Sparkの動作を実際に確認してみました。 tmnj.hatenablog.com tmnj.hatenablog.com 今回は、Sparkのクラスタ構成に挑戦してみたいと思います。 まずは以下のドキュメントでClusterの概要を理解します。Clust…

前回は、対話的にシェルを実行してRDDの操作を試してみました。tmnj.hatenablog.com 今回も、以下のQuick Startを元に続きを進めていきたいと思います。Quick Start - Spark 2.0.2 Documentation キャッシュしてみよう！ Sparkはキャッシュ機能を有しており…

前回は、Apache Sparkのトップページを眺めて超概要を勉強しました。tmnj.hatenablog.com Apache Sparkってなに？と聞かれたら、「高度なDAG実行エンジンを備えた大規模データ高速処理基盤だよ！Hadoopより100倍速いよ！いろんな言語を使えるし、便利な拡張…

GitHubにアカウントを作成して、トップページにある"Read the guide"からたどれるHello Worldチュートリアルを実施してみましょう！ そもそもGit(ギット)とは？ GitHubとは？ Hello Worldチュートリアル Step1: リポジトリを作成する リポジトリを作成してみ…