AWS利用準備

久々更新してみようかと思います。

仕事でAWSを利用することになったので、超簡単にIAMからインスタンス立てるまで

記載してみます。※自分のメモ程度

★IAMユーザ作成
※rootユーザは基本的に利用しない。
●MFA設定（2段階認証）
・Andoroid/Iphone
　googleAuthenticator
　https://qiita.com/macoshita/items/06e2a2474bc8eca1a67d
・Windows
　WinAuth
　https://dev.classmethod.jp/cloud/aws/winauth/

・IAMグループ
・IAMポリシーをIAMグループに割り当て（管理ポリシーかカスタムポリシーを付与）
・IAMアカウント作成し、IAMグループに割り当て
・IAMロールを作成。（EC2インスタンスに割り当て用）
　→とりあえず「AmazonEC2FullAccess」、「AmazonS3FullAccess」を付与

★AWSCLIをUbuntsu16にインストール。
AMI：Ubuntu Server 16.04 LTS (HVM), SSD Volume Type - ami-0d74386b
使用するKeyPairは事前に作成。
インスタンス起動後、ubuntuユーザ、作成したKeypairでログイン。
※初めてUbuntsuに触るものだから四苦八苦。
参考にしたURL：
https://qiita.com/TatchNicolas/items/ca6b8007d914bdef3662
https://qiita.com/TKYK38/items/2a73696a9d8f1f856f68
https://qiita.com/TKYK38/items/62879bc7e4257ba5a642

$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=16.04
DISTRIB_CODENAME=xenial
DISTRIB_DESCRIPTION="Ubuntu 16.04.4 LTS"

sudo su -
# aws --version
The program 'aws' is currently not installed. You can install it by typing:
apt install awscli

# python -V
The program 'python' can be found in the following packages:
* python-minimal
* python3
Try: apt install <selected package>

# apt install python
$ python --version
Python 2.7.12

# wget https://bootstrap.pypa.io/get-pip.py
# python get-pip.py
# pip --version
# pip install awscli
# aws --version
aws-cli/1.15.6 Python/2.7.12 Linux/4.4.0-1052-aws botocore/1.10.6

# aws configure　※IAMロールで制御するため、Access KeyとSecretAccess Keyは入れない。
AWS Access Key ID [None]:
AWS Secret Access Key [None]:
Default region name [None]: ap-northeast-1
Default output format [None]: json

# aws ec2 describe-instances
→インスタンス一覧が表示されること

・jqコマンドをインストール
#apt -y update
#apt -y install jq

ESXI5.5上でOpenstack10をインストールしてみた

ESXI5.5上でOpenstack10をインストールして、ゲストOSへアクセスできるところまで確認します。

自宅環境
サブネット：192.168.0.0/24
GAEWAY：192.168.0.1

ESXI;192.168.0.99
今回ゲストサーバは以下のスペックとする

ゲストサーバの設定で、INTEL-VTが有効になっていること

さらに、仮想スイッチでゲストサーバが所属するポートグループ
※ここではvmnetworkになりますが、セキュリティで無差別モードになっていることを確認

それぞれのNICのIPアドレスは以下の通り
NIC0：192｡168.0.90
NIC1；設定なし（ゲスト通信用にopenvsitchの物理ポートとして使用）
br-ex;192.168.0.50

すでにゲストサーバにCentos7を導入済みとして記載を進めます。
192.168.0.90に対してSSH接続を行います。

/etc/environmentの変更を行います。
vi /etc/environment
以下を追加

LANG=en_US.utf-8
LC_ALL=en_US.utf-8

続いて、不要なサービス郡を停止します。
sudo systemctl disable firewalld
sudo systemctl stop firewalld
sudo systemctl disable NetworkManager
sudo systemctl stop NetworkManager
sudo systemctl enable network
sudo systemctl start network

続いて/dev/sdbに対して設定を行い、vggroup「cinder-volumes」を作成します。
#fdisk /dev/sdb
以下実行ログ
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Command (m for help): n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p): p
Partition number (1-4, default 1):
First sector (2048-209715199, default 2048):
Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-209715199, default 209715199):
Using default value 209715199
Partition 1 of type Linux and of size 100 GiB is set

Command (m for help): wq
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

設定が反映されたか確認します。
以下実行ログ
# fdisk /dev/sdb
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Command (m for help): p

Disk /dev/sdb: 107.4 GB, 107374182400 bytes, 209715200 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x015e9c64

Device Boot Start End Blocks Id System
/dev/sdb1 2048 209715199 104856576 83 Linux

Command (m for help): quit

続いて物理ボリュームを作成します。
# pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created.

設定を確認します。
# pvdisplay
"/dev/sdb1" is a new physical volume of "100.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 100.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID ONXDnq-RR0e-n2S6-AbnO-uFfF-O7jG-3qlJjJ

続いて、作成した物理ボリュームに対して、vgグループ「cinder-volumes」を作成します。
# vgcreate cinder-volumes /dev/sdb1
Volume group "cinder-volumes" successfully created

設定を確認します。
# vgdisplay
--- Volume group ---
VG Name cinder-volumes
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 1
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 0
Open LV 0
Max PV 0
Cur PV 1
Act PV 1
VG Size 100.00 GiB
PE Size 4.00 MiB
Total PE 25599
Alloc PE / Size 0 / 0
Free PE / Size 25599 / 100.00 GiB
VG UUID 1CfQ78-BYqx-jCCn-dzYr-7i3g-fqP2-9XOOGp

続いて、RDOリポジトリ追加、OSのパッケージのupdate、openstackのインストールまで行います。
sudo yum install -y https://repos.fedorapeople.org/repos/openstack/openstack-ocata/rdo-release-ocata-2.noarch.rpm
sudo yum update -y
sudo yum install -y openstack-packstack

再起動を行います。
#reboot

続いてopenstackをallinoneで導入します。
#packstack --allinone --provision-demo=n --os-neutron-ovs-bridge-mappings=extnet:br-ex \
--os-neutron-ml2-type-drivers=vxlan,flat

エラーなく終了することを確認します。

**** Installation completed successfully ******

Additional information:
* A new answerfile was created in: /root/packstack-answers-20170422-123257.txt
* Time synchronization installation was skipped. Please note that unsynchronized time on server instances might be problem for some OpenStack components.
* File /root/keystonerc_admin has been created on OpenStack client host 192.168.0.90. To use the command line tools you need to source the file.
* To access the OpenStack Dashboard browse to http://192.168.0.90/dashboard .
Please, find your login credentials stored in the keystonerc_admin in your home directory.
* The installation log file is available at: /var/tmp/packstack/20170422-123255-0NFr3n/openstack-setup.log
* The generated manifests are available at: /var/tmp/packstack/20170422-123255-0NFr3n/manifests
You have new mail in /var/spool/mail/root
[root@localhost log]#

外部接続用ブリッジ作成を行います。ens33からbr-exを作成します。
まずインターフェースの状況を確認
# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:0b:d7:a8 brd ff:ff:ff:ff:ff:ff
inet 192.168.0.90/24 brd 192.168.0.255 scope global ens32
valid_lft forever preferred_lft forever
inet6 2408:211:82a7:5e00:20c:29ff:fe0b:d7a8/64 scope global mngtmpaddr dynamic
valid_lft 2591935sec preferred_lft 604735sec
inet6 fe80::20c:29ff:fe0b:d7a8/64 scope link
valid_lft forever preferred_lft forever
3: ens33: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
link/ether 00:0c:29:0b:d7:b2 brd ff:ff:ff:ff:ff:ff

br-exを作成
#cd /etc/sysconfig/network-scripts/
#cp ifcfg-ens33 ifcfg-br-ex
#vi ifcfg-br-ex
以下のように編集

=====
DEVICE=br-ex
DEVICETYPE=ovs
TYPE=OVSBridge
BOOTPROTO=static
IPADDR=192.168.0.50
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
DNS1=8.8.8.8
ONBOOT=yes

python学習

どうも。

AWSを学習するうえで避けられないプログラミング。

各サービス → SNS →Lambdaによる通知などを行いたい際は、
インフラ屋は非常に苦労する羽目になる。
という自分もプログラミングは苦手意識が強く、Lambdaを利用するうえでPythonの
学習はほぼ必須ということで今更ながら、いろいろ初心者向けの勉強をしているので、ちょっとずつここに記載していきたいと思います。

1.標準入力から複数文字を整数として表示させる場合、

#vim test.py

########################

# -*- coding: utf-8 -*-
import os
import sys

s = raw_input().split()　←受け取った入力をスペースで分割し、リストに入れる
a = int(s[0])　←リストの1番目を整数型に変更し、変数aに代入
b = int(s[1])　←リストの2番目を整数型に変更し、変数bに代入

########################

# python test.py

10 20 ←入力
10 ← aに格納された10が表示
20 ← bに格納された20が表示

2.if文の書き方

▼bashですと

if [ a -eq b] ; then
echo aaa
elif [ a -ne b ] ; then
echo bbb

といった書き方ですが、

▼pythonの書き方は、

if a = b:
print "aaa"
elif a <> b:
print "bbb"

となります。結構なれるとbashより簡単です。

3.while文を利用する場合

test = 4
cnt = 1
while cnt != 10
a == test * cnt
print a,
cnt +=1

▼尚、printの文字の後に「,」改行が半角スペースに置き換えられる

####実行結果
# python test.py
4 8 12 16 20 24 28 32 36

4.リストに格納された要素数をカウントする
a = [ ]
a.append("test")
a.append("bbb")
print a

▼以下表示
['test', 'bbb']

関数lenを利用
y = len(a)
print y

▼以下表示
2 # 要素数が表示された

5.文字列の加工
リストの文字の間に「,」を代入して普通に表示させたい場合
y = ','.join(a)
print y

▼以下表示
test,bbb #[]表示ではない、かつ「,」が代入された状態で表示

さらにprintで表示する文字を加工します
※単純につなぎたい文字を「+」でつなぐだけですね。。。

print "HOGEHOGE " + y + " OMG"

▼以下表示
HOGEHOGE test,bbb OMG

艦これ月次勲章取得(備忘録)

いつものブログと関係ないですが、趣味として艦これを2年ほど続けてまして。

 1-5,2-5,3-5,4-5,5-5とそれぞれ毎回編成について苦労するため今回記載したいと思います。ちょとずつ更新です。

○2-5編成

駆逐艦3,航戦1、重巡1,軽巡1の構成。
夜戦ルート確定のルートです。

○駆逐艦

▲1隻目
10cm連装高角砲
10cm連装高角砲
22号水上電探

▲2隻目
12.7cm連装砲B型改二
12.7cm連装砲B型改二
22号水上電探

▲3隻目
120mm連装砲
120mm連装砲
22号水上電探

○重巡
20.3cm(3号)連装砲
20.3cm(3号)連装砲
九八水上偵察機
32号水上電探

○軽巡
15.2cm連装砲
15.2cm連装砲
零式水上観測機

○航戦
試製41cm三連装砲
試製41cm三連装砲
瑞雲
瑞雲

EC2インスタンス初期構築時のセットアップをまとめてみた

EC2を最初に作成した時に、
cloud-initにより、ec2-userなどの設定がデフォルトで動作し、AWSのデフォルトAMIではアクセスキーの作成やそれを利用した秘密鍵による認証によりサーバログインとなるため使い勝手が悪い。

よって、AWSのデフォルトAMIからインスタンスを作成し、
cloud-initの設定が反映されないように変更を行い、テンプレートとなるAMIを
作成し新規のEC2インスタンスはそのテンプレートAMIを利用していきたいと思う。

また、EC2インスタンスでは、AWSCLIコマンドを実行できるように設定していきたいと思う。

○事前準備
EC2インスタンスにアタッチするIAMロールを作成する。
とりあえずすべての操作を行いたいので、ポリシーはAWSデフォルトの
「AdministratorAccess」をアタッチします。

ロール名:aws_ec2_admin_role
ポリシー名:AdministratorAccess

続いて、インスタンスの作成から、クイックスタートの中の
「Red Hat Enterprise Linux 7.3 (HVM), SSD Volume Type」を選択し
作成。

作成が終わったら、ec2-userでログインを行います。

○メイン作業
1.まずcloud-initの編集を行います。

以下をコメントアウトします。
#vi /etc/cloud/cloud.cfg

コメントアウト箇所
===========================
# - set_hostname
# - update_hostname
# - ssh

# - locale
# - set-passwords
# - timezone
system_info:
# default_user:
# name: ec2-user
# lock_passwd: true
# gecos: Cloud User
# groups: [wheel, adm, systemd-journal]
# sudo: ["ALL=(ALL) NOPASSWD:ALL"]
# shell: /bin/bash
# vim:syntax=yaml

===========================

2.sshdを変更し、rootでのパスワードログイン不可とともに
それ以外のユーザーによるパスワードログインを許可します。

以下を項目を追加します
===========================
PermitRootLogin no
PasswordAuthentication yes
===========================

3.続いて、testユーザーを作成し、sudo権限を付与。
testユーザーでsshログインを行い、ec2-userを削除します。

#useradd test
#visudo
以下を追加
===========================
test ALL=(ALL) ALL
===========================

testユーザでログインしrootにスイッチ後
以下コマンド実行
#userdel ec2-user

4.つづいてサーバのホスト名を変更、locale変更、timezone変更を行います。

▲ホスト名を変更
#vi /etc/hostname
template

▲locale変更
#localectl set-locale LANG=ja_JP.utf8
#localectl set-keymap jp106
#localectl status
以下の通り変更されます
System Locale: LANG=ja_JP.utf8
VC Keymap: jp106
X11 Layout: jp
X11 Model: jp106
X11 Options: terminate:ctrl_alt_bksp

▲timezone変更
#timedatectl set-timezone Asia/Tokyo
# timedatectl status
以下の通り変更されます。
Local time: Sat 2017-02-11 22:08:08 JST
Universal time: Sat 2017-02-11 13:08:08 UTC
RTC time: Sat 2017-02-11 13:08:07
Time zone: Asia/Tokyo (JST, +0900)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: no
DST active: n/a

5.awscliコマンド,jqコマンドを導入します。

▲まず、初期構築時は、wgetとunzipが導入されていないため
インストールします。
#yum -y install wget unzip

▲つづいてawscliを導入します。(/usr/local/aws配下にインストールします)
#wget https://s3.amazonaws.com/aws-cli/awscli-bundle.zip
#unzip awscli-bundle.zip
#mkdir /usr/local/aws

#cd awscli-bundle
#./install -i /usr/local/aws -b /usr/local/bin/aws
#aws --version

以下の通り、awscliのバージョンが表示されること
aws-cli/1.11.47 Python/2.7.5 Linux/3.10.0-514.el7.x86_64 botocore/1.5.10

▲つづいてawsコマンドのコンフィグ設定を行います。
#aws configure

以下の通り入力
===========================　
AWS Access Key ID [None]:　　←なにもしないでエンター
AWS Secret Access Key [None]:　←なにもしないでエンター
Default region name [ap-northeast-1]:ap-northeast-1
Default output format [json]:json
===========================　

#cat /root/.aws/config
以下の通り表示されること
===========================　
[default]
output = json
region = ap-northeast-1
===========================　

▲さらにjqを導入します。

#wget https://github.com/stedolan/jq/releases/download/jq-1.5/jq-linux64
#mv jq-linux64 /bin/jq
#jq

以下の通り表示されること
===========================　
jq - commandline JSON processor [version 1.5]
Usage: jq [options] <jq filter> [file...]

jq is a tool for processing JSON inputs, applying the
given filter to its JSON text inputs and producing the
filter's results as JSON on standard output.
The simplest filter is ., which is the identity filter,
copying jq's input to its output unmodified (except for
formatting).
For more advanced filters see the jq(1) manpage ("man jq")
and/or https://stedolan.github.io/jq

Some of the options include:
-c compact instead of pretty-printed output;
-n use `null` as the single input value;
-e set the exit status code based on the output;
-s read (slurp) all inputs into an array; apply filter to it;
-r output raw strings, not JSON texts;
-R read raw strings, not JSON texts;
-C colorize JSON;
-M monochrome (don't colorize JSON);
-S sort keys of objects on output;
--tab use tabs for indentation;
--arg a v set variable $a to value <v>;
--argjson a v set variable $a to JSON value <v>;
--slurpfile a f set variable $a to an array of JSON texts read from <f>;
See the manpage for more options.

以上で、初期構築は完了で、これをテンプレートAMIとして利用していきたいと思います。

windows fluentdインストールをやってみた

windowsにfluentdを入れてみたので手順をまとめてみました。

※2016年10月時点で可能な手順です。。

http://rubyinstaller.org/downloads/

RubyとDevKitをダウンロードします。

Ruby 2.2.x(64bit)をインストール

セットアップ言語に日本語を選択します。

「Rubyファイルの実行ファイルへ環境変数Pathを設定する」にチェックをいれる

インストール完了

続いて、DevKitをインストール
DevKit-mingw64-64-4.7.2-20130224-1432-sfx.exeを選択して実行

解凍先指定で、「c:\ruby」などにする

コマンドプロンプトを起動し、以下のコマンドを実行する。
以下の例は、rubyは「c:\Ruby22-x64」、devkitは「c:\ruby」にインストールしている例。

cd c:\ruby
ruby dk.rb init
「c:\ruby\config.yml」を開き、「 - C:/Ruby22-x64」を追記する。

ruby dk.rb install　を実行

続いてgitをインストールする

http://www.git-scm.com/

git for windows をダウンロードしてインストールを行う

rubygemsの証明書が古くて、gem install bundlerでこけるので以下のサイトにアクセスする
http://guides.rubygems.org/ssl-certificate-update/#manual-solution-to-ssl-issue

GlobalSignRootCA.pemをダウンロードして
AddTrustExternalCARoot.pemとリネームする

gem which rubygemsを実行して証明書パスを確認する

例:C:/Ruby22-x64/lib/ruby/2.2.0/rubygems/ssl_certsがあることを確認する

既存のAddTrustExternalCARoot.pemを新しく取得したAddTrustExternalCARoot.pemに置き換える

コマンドプロンプトを開き以下の通り入力する

cd c:\

git clone https://github.com/fluent/fluentd.git

cd fluentd

gem install bundler

bundle

bundle exec rake build
gem install pkg\fluentd-0.14.8.gem

インストールが完了したら以下実行してエラーが表示されないことを確認する
fluentd -c ./example/in_forward.conf

以下の画面が表示されていたら成功です。

ちなみにfluentd on windowsは非常にリソースを食うため、起動すると

CPUを専有してしまいました(2コアのため、１コア専有。CPU50%を常に使用)

ちょっと重すぎますね。。。

windowsではちょっと使えないかも。。

以上です。

EC2 windowsインスタンス初期設定

AWSのwindowsインスタンスを作成する際に、毎度のこと調べてしまうため、

やることをメモとして残します。
①管理者パスワードの変更
参考:
http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/ec2-windows-passwords.html#change-admin-password

ローカル管理者パスワードを変更を行うには、
インスタンスに接続して、コマンドプロンプトを管理者権限で以下を入力し実行する。
C:\> net user Administrator "new_password"
※パスワード部分は二重符号で囲むこと

②windowsインスタンスの日本語化を行う
参考：
http://niccloud.niandc.ne.jp/?p=1230

日本語ラインゲージパックを導入する

1.コントロールパネルから「Language」を起動します。そして「Add a Language」をクリックします。

2.「日本語」を選択し、右下の「Add」をクリックします。

3.日本語表示もできるように「Option」をクリックします。

4.「Windows Display Language」に「Download and install language pack」が表示されます。
リンクをクリックして導入をします。ダウンロードして導入されるまでの時間は10分程度。

5.完了すると「Installation Complete」が表示されます。再度日本語のOptionを選択します。

6.「Make this the primary language 」選択して日本語を優先にすると、一度ログオフを要求されるため、ログオフを行い再度ログインし直す。

7.日本語で表示されていることを確認する。

③更に再起動するとシステム時間がUTCになってしまうためシステム時間をJSTに保つ設定を行う。
※windows 2008以降は再起動すると時間が戻ってしまうとのこと。
参考:
http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/windows-set-time.html#windows-persisting-time-changes-w2k8

windows右下の時間をクリックして「日付と時刻の時間を設定」をクリックする。
タイムゾーンの変更を選択して、タイムゾーンを「大阪、札幌、東京」に変更する。

コマンドプロンプトを管理者権限で以下を入力し実行する。
C:\> reg add "HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\TimeZoneInformation" /v RealTimeIsUniversal /d 1 /t REG_DWORD /f

④更にツールを入れようとすると文字化けが発生するため、以下の対応を行います。

参考:

http://www.loconoco.info/?p=1115

※Windows8.1の記事ですが、windows2012でも同じ手順なので、問題ないです。

1.「コントロールパネル」→「時計、言語、および地域」を開く

2.日付、時刻、または数値の形式の変更」をクリックして開く

3.それぞれのタブの言語設定を“日本”に変更

1. ・「形式」タブの「形式」
2. ・「場所」タブの「主な使用場所」
3. ・「管理」タブ、「システムローケールの変更」内の「Unicode対応ではないプログラムの言語」
4. ・設定変更を行い、OSを再起動します。

以上。