ec2
今日は、自動でec2インスタンスを作成してSpark Clusterを構成してくれるspark-ec2ツールを利用してクラスタを構成してみます。正式なサイトは以下です。こちらに書かれている内容に沿って実施してみます。github.com ツールの概要 spark-ec2は、Apache Spar…
前回は、SparkのStandaloneクラスタを手動スクリプトで構築して、対話シェルで動作を確認してみました。tmnj.hatenablog.com 今回は、クラスタ起動スクリプトを使用してスクリプト一発実行するだけでSparkがクラスタ構成で起動する方法を実施してみたいと思…
EBSボリュームを作成して既存のEC2インスタンスにアタッチして、Linuxから利用する方法をまとめました。 EC2インスタンスの作成 適当にスポットインスタンスを作成します。 以下の記事を参照してください。 tmnj.hatenablog.com EBSボリュームの作成 EC2ダッ…
今回はEC2ストレージの勉強をしたいと思います。教材は以下を利用。 ストレージ - Amazon Elastic Compute Cloud ストレージのオプション Amazon EBSとは EBSの可用性は？ インスタンスストアとは Amazon S3とは EC2ルートデバイスボリューム 永続的ルートデ…
EC2ダッシュボードでは英語だと"Launch Instance"ボタンで日本語だと、"インスタンスの作成"ボタンになってます。英語日本語 細かいのですが、以下のドキュメントなどでAMIとインスタンスの関係を読んでいると英語の表現のまま、"インスタンスの起動"ボタン…
目的 スポットインスタンスの作成 リクエストタイプの違い スポットインスタンス：ワンタイムと継続の料金比較 ターゲット容量、AMI、インスタンスタイプ 配分戦略 スポットインスタンスリクエストの確認 スポットフリートの重み付け スポットインスタンスの…
前回は、EC2インスタンス作成のための準備をしました。tmnj.hatenablog.com今回は、EC2インスタンス作成まで実施します。 今回は、m4.xlarge×3インスタンスを作成してみたいと思います。 Amazon EBS-backed インスタンスとは EC2インスタンス作成 AMIの選択
目的 AWS EC2調査 EC2インスタンスタイプとは？ 料金を確認してみる スポットインスタンスとは？ 補足：ECUとは？ EC2インスタンスの作成 目的 よく、仕事柄いろいろなソフトウェアの検証を実施しますが、今後はEC2を活用して簡単かつスピーディーに検証環境…
