読者です 読者をやめる 読者になる 読者になる

Tomo's IT Blog

技術的な調査メモ

AWS: 特定のIPアドレスからしかアクセスできないIAMユーザを作成してみる

AWSのセキュリティの基本として、普段の運用管理は適切なロールを付与したIAMユーザにより実施して、ルートアカウントでは実施しないことが推奨されています。 特定のIAMユーザでAWSにログインする際に、例えば会社や自宅のIPアドレスからしかアクセス出来な…

AWSのセキュリティの概要を学ぶ

AWSは非常に便利ですが、大規模な環境を容易に作成できてしまいます。第三者に不正利用されてしまうと、知らない間に大規模にEC2インスタンスが作成され、高額な請求がされてしまうという事になりかねません。現にアクセスキーをGitHubやブログなどにうっか…

iPhoneを交換したらAWSのMFAができなくなってしまった。そんな時の対処法

先日、iPhone6sのバッテリー問題で新しいiPhoneに交換しました。 やっと、突然シャットダウンしてしまう問題から開放できたと喜んでいたのですが、新しいiPhoneをバックアップから復旧した後に、AWSコンソールにログインしようとGoogle Authenticatorを起動…

iPhone 6sが突然シャットダウンしてしまうバッテリー問題はエクスプレス交換が便利!

iPhone 6sの噂のバッテリー問題、以前からたまにバッテリー残量があるにも関わらず突然シャットダウンしてしまう事が発生していたので、下記のURLにてシリアル番号から調べてみると見事ヒットしていました。 iPhone 6s が突然シャットダウンする問題に対する…

MacBook Pro 2016で3本指ドラッグを有効にする

mac

先日やっと、新型MacBook Proが家に届きました。以前利用していたのは2008 Later MacBookです。 SSDに換装したり、バッテリーも2回も交換して使い続けていましたが、新OSが対応しなくなってしまい止む無く買い替えました。さて、実施に新MacBookをいじってい…

Apache Sparkの勉強-Clusterを構成してみよう!spark-ec2スクリプトでクラスタ簡単構築

今日は、自動でec2インスタンスを作成してSpark Clusterを構成してくれるspark-ec2ツールを利用してクラスタを構成してみます。正式なサイトは以下です。こちらに書かれている内容に沿って実施してみます。github.com ツールの概要 spark-ec2は、Apache Spar…

Apache Sparkの勉強-Clusterを構成してみよう!クラスタ起動スクリプトで一発起動してみる

前回は、SparkのStandaloneクラスタを手動スクリプトで構築して、対話シェルで動作を確認してみました。tmnj.hatenablog.com 今回は、クラスタ起動スクリプトを使用してスクリプト一発実行するだけでSparkがクラスタ構成で起動する方法を実施してみたいと思…

Apache Sparkの勉強-Clusterを構成してみよう!Standaloneクラスタ編

前回は、Apache SparkのQuick Guideを読み進めて、Sparkの動作を実際に確認してみました。 tmnj.hatenablog.com tmnj.hatenablog.com 今回は、Sparkのクラスタ構成に挑戦してみたいと思います。 まずは以下のドキュメントでClusterの概要を理解します。Clust…

Apache Sparkの勉強-実際に動かしてRDDを操作してみよう (2)

前回は、対話的にシェルを実行してRDDの操作を試してみました。tmnj.hatenablog.com 今回も、以下のQuick Startを元に続きを進めていきたいと思います。Quick Start - Spark 2.0.2 Documentation キャッシュしてみよう! Sparkはキャッシュ機能を有しており…

Apache Sparkの勉強-実際に動かしてRDDを操作してみよう

前回は、Apache Sparkのトップページを眺めて超概要を勉強しました。tmnj.hatenablog.com Apache Sparkってなに?と聞かれたら、「高度なDAG実行エンジンを備えた大規模データ高速処理基盤だよ!Hadoopより100倍速いよ!いろんな言語を使えるし、便利な拡張…

初めてのGitHub: Hello World

git

GitHubにアカウントを作成して、トップページにある"Read the guide"からたどれるHello Worldチュートリアルを実施してみましょう! そもそもGit(ギット)とは? GitHubとは? Hello Worldチュートリアル Step1: リポジトリを作成する リポジトリを作成してみ…

Apache Sparkの勉強-超概要を理解する

Apache Sparkを基礎から勉強していきます。 基本的にはドキュメントを読み進めながら動作を確認していこうと思います。 まずはトップページを読んでみよう Apache SparkのトップページApache Spark™ - Lightning-Fast Cluster Computingここを見れば、そもそ…

AWS EBSをEC2インスタンスにアタッチして、Linuxから利用できるようにする

EBSボリュームを作成して既存のEC2インスタンスにアタッチして、Linuxから利用する方法をまとめました。 EC2インスタンスの作成 適当にスポットインスタンスを作成します。 以下の記事を参照してください。 tmnj.hatenablog.com EBSボリュームの作成 EC2ダッ…

EC2のストレージの勉強

今回はEC2ストレージの勉強をしたいと思います。教材は以下を利用。 ストレージ - Amazon Elastic Compute Cloud ストレージのオプション Amazon EBSとは EBSの可用性は? インスタンスストアとは Amazon S3とは EC2ルートデバイスボリューム 永続的ルートデ…

AWS EC2の'Launch Instance'と'インスタンスの作成'

EC2ダッシュボードでは英語だと"Launch Instance"ボタンで日本語だと、"インスタンスの作成"ボタンになってます。英語日本語 細かいのですが、以下のドキュメントなどでAMIとインスタンスの関係を読んでいると英語の表現のまま、"インスタンスの起動"ボタン…

AWSのスポットインスタンスを作成する

目的 スポットインスタンスの作成 リクエストタイプの違い スポットインスタンス:ワンタイムと継続の料金比較 ターゲット容量、AMI、インスタンスタイプ 配分戦略 スポットインスタンスリクエストの確認 スポットフリートの重み付け スポットインスタンスの…

AWS EC2インスタンスを試す- その3:EC2インスタンス作成

前回は、EC2インスタンス作成のための準備をしました。tmnj.hatenablog.com今回は、EC2インスタンス作成まで実施します。 今回は、m4.xlarge×3インスタンスを作成してみたいと思います。 Amazon EBS-backed インスタンスとは EC2インスタンス作成 AMIの選択

AWS EC2インスタンスを試す- その2:EC2インスタンス作成準備

前回は、EC2の調査を主にインスタンスタイプと料金の観点で調査しました。 tmnj.hatenablog.com今回は実際にEC2インスタンスを作成していきたいと思います。 基本的には、本家のドキュメントを参考にして進めます。 http://docs.aws.amazon.com/ja_jp/AWSEC2…

AWS EC2インスタンスを試す- その1:EC2調査編

目的 AWS EC2調査 EC2インスタンスタイプとは? 料金を確認してみる スポットインスタンスとは? 補足:ECUとは? EC2インスタンスの作成 目的 よく、仕事柄いろいろなソフトウェアの検証を実施しますが、今後はEC2を活用して簡単かつスピーディーに検証環境…