MEMO : How to install Ansible on centos 7.x .
centos 7.x へAnsible をインストールするときのメモ。Ansibleはepelに公開されているyumパッケージ版ど導入。インストールには、yumコマンドを使用して実行。
環境情報
virtualbox に、ゲストOSとして、CentOSをインストール
- VirtualBox Version:
- CPU:1 core
- RAM:8192MB
- HDD:40GB
※構築したゲストは、インターネットアクセスが可能な環境で実施。
OSインストール
Centos7.x everything dvd から、core パッケージでインストールを実行。 ※インターネット上のyum repository を使いたいので、ネットワークの設定はきちんと行いましょう。
OS アップデート
インストール完了した状態で、OSアップデートを実行。 ※これは、要件ではありませんが、CentOSのメディアが、だいぶ古い(7.1)ものだったので、最新の状態(まだ、CentOSは、7.3にはなっていないという...)を、使って確認しました。
# yum update -y
※作業時点(2016/11/23)では、アップデート完了後、"CentOS Linux release 7.2.1511 (Core)"となった。
epelリポジトリ追加
epelリポジトリを追加する。CentOSの標準リポジトリには、Ansibleパッケージは用意されていないため、yum でepelリポジトリを利用できるようにする。
# yum install epel-release.noarch -y
Ansible インストール
yumコマンドにて、Ansible パッケージをインストールする。
# yum install ansible
インストールログ
[root@ansible ~]# yum install ansible Loaded plugins: fastestmirror epel/x86_64/metalink | 4.8 kB 00:00:00 epel | 4.3 kB 00:00:00 (1/3): epel/x86_64/group_gz | 170 kB 00:00:00 (2/3): epel/x86_64/updateinfo | 678 kB 00:00:00 (3/3): epel/x86_64/primary_db | 4.3 MB 00:00:00 Loading mirror speeds from cached hostfile * base: www.ftp.ne.jp * epel: ftp.riken.jp * extras: www.ftp.ne.jp * updates: www.ftp.ne.jp Resolving Dependencies --> Running transaction check ---> Package ansible.noarch 0:2.2.0.0-3.el7 will be installed --> Processing Dependency: sshpass for package: ansible-2.2.0.0-3.el7.noarch --> Processing Dependency: python-six for package: ansible-2.2.0.0-3.el7.noarch --> Processing Dependency: python-paramiko for package: ansible-2.2.0.0-3.el7.noarch --> Processing Dependency: python-keyczar for package: ansible-2.2.0.0-3.el7.noarch --> Processing Dependency: python-jinja2 for package: ansible-2.2.0.0-3.el7.noarch --> Processing Dependency: python-httplib2 for package: ansible-2.2.0.0-3.el7.noarch --> Processing Dependency: PyYAML for package: ansible-2.2.0.0-3.el7.noarch --> Running transaction check ---> Package PyYAML.x86_64 0:3.10-11.el7 will be installed --> Processing Dependency: libyaml-0.so.2()(64bit) for package: PyYAML-3.10-11.el7.x86_64 ---> Package python-httplib2.noarch 0:0.7.7-3.el7 will be installed ---> Package python-jinja2.noarch 0:2.7.2-2.el7 will be installed --> Processing Dependency: python-babel >= 0.8 for package: python-jinja2-2.7.2-2.el7.noarch --> Processing Dependency: python-markupsafe for package: python-jinja2-2.7.2-2.el7.noarch ---> Package python-keyczar.noarch 0:0.71c-2.el7 will be installed --> Processing Dependency: python-pyasn1 for package: python-keyczar-0.71c-2.el7.noarch --> Processing Dependency: python-crypto for package: python-keyczar-0.71c-2.el7.noarch ---> Package python-six.noarch 0:1.9.0-2.el7 will be installed ---> Package python2-paramiko.noarch 0:1.16.1-1.el7 will be installed --> Processing Dependency: python2-ecdsa for package: python2-paramiko-1.16.1-1.el7.noarch ---> Package sshpass.x86_64 0:1.05-5.el7 will be installed --> Running transaction check ---> Package libyaml.x86_64 0:0.1.4-11.el7_0 will be installed ---> Package python-babel.noarch 0:0.9.6-8.el7 will be installed ---> Package python-markupsafe.x86_64 0:0.11-10.el7 will be installed ---> Package python-pyasn1.noarch 0:0.1.6-2.el7 will be installed ---> Package python2-crypto.x86_64 0:2.6.1-9.el7 will be installed --> Processing Dependency: libtomcrypt.so.0()(64bit) for package: python2-crypto-2.6.1-9.el7.x86_64 ---> Package python2-ecdsa.noarch 0:0.13-4.el7 will be installed --> Running transaction check ---> Package libtomcrypt.x86_64 0:1.17-23.el7 will be installed --> Processing Dependency: libtommath >= 0.42.0 for package: libtomcrypt-1.17-23.el7.x86_64 --> Processing Dependency: libtommath.so.0()(64bit) for package: libtomcrypt-1.17-23.el7.x86_64 --> Running transaction check ---> Package libtommath.x86_64 0:0.42.0-4.el7 will be installed --> Finished Dependency Resolution Dependencies Resolved ======================================================================================================================== Package Arch Version Repository Size ======================================================================================================================== Installing: ansible noarch 2.2.0.0-3.el7 epel 4.6 M Installing for dependencies: PyYAML x86_64 3.10-11.el7 base 153 k libtomcrypt x86_64 1.17-23.el7 epel 224 k libtommath x86_64 0.42.0-4.el7 epel 35 k libyaml x86_64 0.1.4-11.el7_0 base 55 k python-babel noarch 0.9.6-8.el7 base 1.4 M python-httplib2 noarch 0.7.7-3.el7 epel 70 k python-jinja2 noarch 2.7.2-2.el7 base 515 k python-keyczar noarch 0.71c-2.el7 epel 218 k python-markupsafe x86_64 0.11-10.el7 base 25 k python-pyasn1 noarch 0.1.6-2.el7 base 91 k python-six noarch 1.9.0-2.el7 base 29 k python2-crypto x86_64 2.6.1-9.el7 epel 475 k python2-ecdsa noarch 0.13-4.el7 epel 83 k python2-paramiko noarch 1.16.1-1.el7 epel 257 k sshpass x86_64 1.05-5.el7 epel 21 k Transaction Summary ======================================================================================================================== Install 1 Package (+15 Dependent packages) Total download size: 8.1 M Installed size: 36 M Is this ok [y/d/N]: y Downloading packages: (1/16): PyYAML-3.10-11.el7.x86_64.rpm | 153 kB 00:00:00 warning: /var/cache/yum/x86_64/7/epel/packages/ansible-2.2.0.0-3.el7.noarch.rpm: Header V3 RSA/SHA256 Signature, key ID 352c64e5: NOKEY Public key for ansible-2.2.0.0-3.el7.noarch.rpm is not installed (2/16): ansible-2.2.0.0-3.el7.noarch.rpm | 4.6 MB 00:00:03 (3/16): libtomcrypt-1.17-23.el7.x86_64.rpm | 224 kB 00:00:00 (4/16): libtommath-0.42.0-4.el7.x86_64.rpm | 35 kB 00:00:00 (5/16): python-httplib2-0.7.7-3.el7.noarch.rpm | 70 kB 00:00:00 (6/16): python-keyczar-0.71c-2.el7.noarch.rpm | 218 kB 00:00:00 (7/16): libyaml-0.1.4-11.el7_0.x86_64.rpm | 55 kB 00:00:00 (8/16): python-markupsafe-0.11-10.el7.x86_64.rpm | 25 kB 00:00:00 (9/16): python-pyasn1-0.1.6-2.el7.noarch.rpm | 91 kB 00:00:00 (10/16): python-jinja2-2.7.2-2.el7.noarch.rpm | 515 kB 00:00:00 (11/16): python-babel-0.9.6-8.el7.noarch.rpm | 1.4 MB 00:00:00 (12/16): python-six-1.9.0-2.el7.noarch.rpm | 29 kB 00:00:00 (13/16): python2-crypto-2.6.1-9.el7.x86_64.rpm | 475 kB 00:00:02 (14/16): python2-ecdsa-0.13-4.el7.noarch.rpm | 83 kB 00:00:00 (15/16): python2-paramiko-1.16.1-1.el7.noarch.rpm | 257 kB 00:00:00 (16/16): sshpass-1.05-5.el7.x86_64.rpm | 21 kB 00:00:00 ------------------------------------------------------------------------------------------------------------------------ Total 1.1 MB/s | 8.1 MB 00:00:07 Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 Importing GPG key 0x352C64E5: Userid : "Fedora EPEL (7) <epel@fedoraproject.org>" Fingerprint: 91e9 7d7c 4a5e 96f1 7f3e 888f 6a2f aea2 352c 64e5 Package : epel-release-7-6.noarch (@extras) From : /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 Is this ok [y/N]: y Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : python-six-1.9.0-2.el7.noarch 1/16 Installing : python2-ecdsa-0.13-4.el7.noarch 2/16 Installing : sshpass-1.05-5.el7.x86_64 3/16 Installing : libtommath-0.42.0-4.el7.x86_64 4/16 Installing : libtomcrypt-1.17-23.el7.x86_64 5/16 Installing : python2-crypto-2.6.1-9.el7.x86_64 6/16 Installing : python2-paramiko-1.16.1-1.el7.noarch 7/16 Installing : python-babel-0.9.6-8.el7.noarch 8/16 Installing : python-pyasn1-0.1.6-2.el7.noarch 9/16 Installing : python-keyczar-0.71c-2.el7.noarch 10/16 Installing : python-httplib2-0.7.7-3.el7.noarch 11/16 Installing : python-markupsafe-0.11-10.el7.x86_64 12/16 Installing : python-jinja2-2.7.2-2.el7.noarch 13/16 Installing : libyaml-0.1.4-11.el7_0.x86_64 14/16 Installing : PyYAML-3.10-11.el7.x86_64 15/16 Installing : ansible-2.2.0.0-3.el7.noarch 16/16 Verifying : python-keyczar-0.71c-2.el7.noarch 1/16 Verifying : libyaml-0.1.4-11.el7_0.x86_64 2/16 Verifying : python-jinja2-2.7.2-2.el7.noarch 3/16 Verifying : python-markupsafe-0.11-10.el7.x86_64 4/16 Verifying : python-httplib2-0.7.7-3.el7.noarch 5/16 Verifying : python2-ecdsa-0.13-4.el7.noarch 6/16 Verifying : libtomcrypt-1.17-23.el7.x86_64 7/16 Verifying : ansible-2.2.0.0-3.el7.noarch 8/16 Verifying : python2-crypto-2.6.1-9.el7.x86_64 9/16 Verifying : python-pyasn1-0.1.6-2.el7.noarch 10/16 Verifying : PyYAML-3.10-11.el7.x86_64 11/16 Verifying : python-babel-0.9.6-8.el7.noarch 12/16 Verifying : python-six-1.9.0-2.el7.noarch 13/16 Verifying : libtommath-0.42.0-4.el7.x86_64 14/16 Verifying : python2-paramiko-1.16.1-1.el7.noarch 15/16 Verifying : sshpass-1.05-5.el7.x86_64 16/16 Installed: ansible.noarch 0:2.2.0.0-3.el7 Dependency Installed: PyYAML.x86_64 0:3.10-11.el7 libtomcrypt.x86_64 0:1.17-23.el7 libtommath.x86_64 0:0.42.0-4.el7 libyaml.x86_64 0:0.1.4-11.el7_0 python-babel.noarch 0:0.9.6-8.el7 python-httplib2.noarch 0:0.7.7-3.el7 python-jinja2.noarch 0:2.7.2-2.el7 python-keyczar.noarch 0:0.71c-2.el7 python-markupsafe.x86_64 0:0.11-10.el7 python-pyasn1.noarch 0:0.1.6-2.el7 python-six.noarch 0:1.9.0-2.el7 python2-crypto.x86_64 0:2.6.1-9.el7 python2-ecdsa.noarch 0:0.13-4.el7 python2-paramiko.noarch 0:1.16.1-1.el7 sshpass.x86_64 0:1.05-5.el7 Complete! [root@ansible ~]#
Ansible 導入の確認
導入が完了した時点で、Ansible のバージョンを確認。
[root@ansible ~]# ansible --version ansible 2.2.0.0 config file = /etc/ansible/ansible.cfg configured module search path = Default w/o overrides [root@ansible ~]#
OpenStack Director(RDO Manager) VM Guestで構築するとOSシャットダウンがうまくいかない
OpenStack Director(RDO Manager) を、KVMゲストとして構築してまして、そのゲストVMをOSシャットダウンしようとすると、openstackの停止処理でタイミングがずれて（？）dracut が、無限ループします。
OpenStack Director , Packstack all-in-one 以外の用途で使っていても、発生する事があるようで、下記リンクにワークアラウンドが示されています。
私の場合、Director なので、下記の対応で回避できるのだと思われます。
---------------------------------------------
If you're hitting this on a Red Hat OpenStack Platform director system (the "undercloud"), the following procedure should enable you to shut down cleanly: $ sudo openstack-service stop $ sudo ip netns delete $(ip netns) $ sudo poweroff
-------------------------------------------
とはいえ、、、systemd むずかしっす。
mongodb を Centos7へインストールする メモ
少しも新しくない情報です...mongodb コミュニティーエディションのインストールをやってみました。基本的には、mongdb org で公開されているドキュメントに従って導入すればいいのですが、細かい点で補足が必要です。
導入環境
- OS:CentOS7.2 ( 作業した日の最新がそうだったというだけ)
- CPU: VirtualBox で 1CPU を割り当て
- RAM: 4096MB
- HDD: 16GB
- mongoDB: Ver.3.2 Shell Edition ( これも作業した日の最新がそうだったというだけ)
特に設計をしたわけでなく、取り敢えず動かしてみようというノリなので、これでいい のか悪いのか、わかりません。また、公式のシステム要件としても、最低1物理コア、 メモリは多くすれば、ページフォルトを解消できる。HDDは（想定だけど）扱うデータ の物理設計によるでしょ。ということで、明確にああしろ、こうしろという記載はない ようです。マニュアルを全部読んだら書いてあるのかもしれませんが... また、今回はとりあえず、シングル構成（非冗長構成）でやっています。
導入＆セットアップの流れ
CentOS7 コアでインストール
CentOS7は、everything iso を使用して、ほぼデフォルトのインストールとしました。あまり重要じゃないので、さらっと書きます。また、後々必要なパッケージがあった場合はyum でインストールする作戦です。
導入パラメータの変更カ所
それ以外は、デフォルトです。下記が、インストール後のanaconda-ks.cfg
#version=RHEL7 # System authorization information auth --enableshadow --passalgo=sha512 # Use CDROM installation media cdrom # Use graphical install graphical # Run the Setup Agent on first boot firstboot --enable ignoredisk --only-use=sda # Keyboard layouts keyboard --vckeymap=us --xlayouts='us' # System language lang en_US.UTF-8 # Network information network --bootproto=dhcp --device=enp0s3 --ipv6=auto --activate network --hostname=mongodb01 # Root password rootpw --iscrypted # System services services --enabled="chronyd" # System timezone timezone Asia/Tokyo --isUtc --ntpservers=0.centos.pool.ntp.org,1.centos.pool.ntp.org,2.centos.pool.ntp.org,3.centos.pool.ntp.org user --groups=wheel --name=user01 --password= --iscrypted --gecos="user01" # System bootloader configuration bootloader --append=" crashkernel=auto" --location=mbr --boot-drive=sda # Partition clearing information clearpart --none --initlabel # Disk partitioning information part /boot --fstype="xfs" --ondisk=sda --sizmongodb の起動とアクセスe=500 part pv.124 --fstype="lvmpv" --ondisk=sda --size=15871 volgroup centos_mongodb01 --pesize=4096 pv.124 logvol swap --fstype="swap" --size=4092 --name=swap --vgname=centos_mongodb01 logvol / --fstype="xfs" --size=11776 --name=root --vgname=centos_mongodb01 %packages @core chrony kexec-tools %end %addon com_redhat_kdump --enable --reserve-mb='auto' %end
yum update
これは、いつもやる事ですが、とりあえずOSをインストmongodb の起動とアクセスールしたら、パッケージを最新化します。
# yum -y update
mongdb インストール
公開されているドキュメントに従い、インストールを行います。
公開鍵のインポート
ドキュメントどおりmongodb の起動とアクセス
# rpm --import https://www.mongodb.org/static/pgp/server-3.2.asc
yum リポジトリ定義ファイルの作成
ドキュメントどおり"/etc/yum.repos.d/mongodb-org-3.2.repo"を作成。特に、バージョンを明示しないので、そのままとしました。
[mongodb-org-3.2] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/ gpgcheck=1 enabled=1
mongoDB のインストール
ドキュメントどおり。
# yum install -y mongodb-org
SELinux の設定
SELinux をdisable や、permissive にするのは、CentOS7.0 以降、避ける事にしているので、SELinux が有効な状態ですすめる。このために、mongodbが通信ポートでリッスンできるように設定する必要があります。 コアパッケージでインストールした状態だと、semanage関連パッケージがインストールされていないので、まずは、"policycoreutils-python"をインストールします。
# yum install policycoreutils-python
semanageコマンドが利用できるようになったら、下記コマンドで、mongoDBが27017 port を利用できるようにします。これ、任意のポートに変える場合は、そのポートを指定してコマンドを実行します。
semanage port -a -t mongod_port_t -p tcp 27017
あと、リモートから通信できるようにするためには、firewalld も設定しなくてはならないですが、デフォルトだと、127.0.0.1:27017 でリッスンするようなので、一旦、放置します。
自動起動の設定
マニュアルを読み進めていくと、mongodb の起動、停止、リスタートと続きます。service コマンドを使用した例が掲載されていますが、centos7 なので、systemctl で各操作も可能です。
- 起動
# systemctl start mongd
- 停止
# systemctl stop mongd
- リスタート
# systemctl restart mongd
- 状態確認
# systemctl status mongd
ドキュメントにあるとおり、service コマンドでも各種操作は行えます。
# リスタートの実行例。結局、systemctl 経由で ってメッセージがでてますね... [root@mongodb01 ~]# service mongod restart Restarting mongod (via systemctl): [ OK ] [root@mongodb01 ~]#
- 自動起動設定 本題の自動起動設定ですが、systemctl でenable を行おうとすると、エラーがでます。なので、ここは、init の仕組みを使うのだと判断。従来の、chkconfig を使って設定します。
# chkconfig mongod on
# NG
[root@mongodb01 ~]# systemctl enable mongod
mongod.service is not a native service, redirecting to /sbin/chkconfig.
Executing /sbin/chkconfig mongod on
[root@mongodb01 ~]#
# OK
[root@mongodb01 ~]# chkconfig mongod on
[root@mongodb01 ~]# chkconfig --list
Note: This output shows SysV services only and does not include native
systemd services. SysV configuration data might be overridden by native
systemd configuration.
If you want to list systemd services use 'systemctl list-unit-files'.
To see services enabled on particular target use
'systemctl list-dependencies [target]'.
mongod 0:off 1:off 2:on 3:on 4:on 5:on 6:off
netconsole 0:off 1:off 2:off 3:off 4:off 5:off 6:off
network 0:off 1:off 2:on 3:on 4:on 5:on 6:off
[root@mongodb01 ~]#
centos のパラメータ調整
CentOSの各種設定がデフォルトのままだと、mongoコマンドを実行した時に、警告メッセージが表示されます。なお、環境の状態／前提によってメッセージが違うのかもしれないので、参考情報としてください。また、下記以外の警告メッセージが表示される場合は、個別に対応が必要となると思います。
# 私の環境で表示されたメッセージ [root@mongodb01 ~]# mongo MongoDB shell version: 3.2.4 connecting to: test Server has startup warnings: 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'. 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] ** We suggest setting it to 'never' 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'. 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] ** We suggest setting it to 'never' 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] ** WARNING: soft rlimits too low. rlimits set to 1024 processes, 64000 files. Number of processes should be at least 32000 : 0.5 times number of files. 2016-04-03T21:27:52.527+0900 I CONTROL [initandlisten] > q 2016-04-03T21:28:15.700+0900 E QUERY [thread1] ReferenceError: q is not defined : @(shell):1:1 >
- WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'. ...
- WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'. ...
上記2つは、transparent hugepage に関連する設定で、いずれも、never ( default = always ) に設定するのがお勧めのようです。なぜそうなのか...は、改めて調べてみようと思います。設定の仕方は、色々あるようですが、私は、hmitrさんの記事を拝見し、そのままつかわせていただきました。
/etc/rc.local に、下記を追記（互換性配慮、すばらしい！）
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi
尚、一点注意が必要で、centos7では、rc.localのデフォルトパーミッションが644になっています。なので、rc.localを使用して設定を行う場合、OS起動時に設定を有効とするためには、/etc/rc.d/rc.local に実行パーミッションを設定します。
# chmod -x /etc/rc.d/rc.local
- WARNING: soft rlimits too low. こちらは、ファイルのオープン可能数が小さすぎるという事のようです。公式ドキュメントでは、/etc/security/limits.d/99-mongodb-nproc.conf を作成して設定せよとあるので、下記の様にしました。
UNIX ulimit Settings — MongoDB Manual 3.2
[root@mongodb01 ~]# cat /etc/security/limits.d/99-mongodb-nproc.conf * soft nproc 1024 root soft nproc unlimited mongod soft nproc unlimited * soft nofile 64000 * hard nofile 64000 [root@mongodb01 ~]#
尚、mongdb のプロセスオーナーは、mongod のようなので、root,mongod 以外のアカウントには、nproc = 1024の制限を掛けたまま、unlimited とするようにしました。
[root@mongodb01 ~]# ss -lntp
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 127.0.0.1:27017 *:* users:(("mongod",pid=2512,fd=6))
CentOS の各種設定を有効化させるため、テストも兼ねてOSを再起動します。
# systemctl reboot
mongodb の起動とアクセス
OSが起動してきたら、mongdは自動的に起動されているので、mongoコマンドで接続してみます。
[user01@mongodb01 ~]$ mongo
MongoDB shell version: 3.2.4
connecting to: test
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see
http://docs.mongodb.org/
Questions? Try the support group
http://groups.google.com/group/mongodb-user
>
ここまでの作業で、mongodb のCentosへのインストールとセットアップ、起動するまでが完了しました。mongodb の利用については、何か面白い実験やプロトタイプができたら、改めて紹介したいと思います。特に、性能特性ですかねぇ。
それでわ。
Flask セットアップ手順のメモ
Python Flask で、Web APPプラットフォームを整る手順。(事前のセットアップは除く)
1. プロジェクトディレクトリの作成
$ mkdir <Project Name> $ cd <Project Name>
2. Virtualenv環境の作成
$ virtualenv <v-env Name> $ source <v-env Name>/bin/activate (v-env Name) $
3. Flask のインストール
(v-env Name) $ pip install -U Flask ## -U は、パッケージのUpdate Replace
4. その他、サブディレクトリの作成（暫定)
ディレクトリ構成は、どのようにあるべきかよくわからない。ここは、要調査。気になることは、セキュリティー面と、ファイルの管理性。
(v-env Name) $ mkdir templates
(v-env Name) $ mkdir static
## ディレクトリツリー
(Project Top)
├── # 本体の.pyファイルを配置する場所。
├── (v-env Name)
│ └── # Virtualenv の仮想環境が配置される。
├── static
│ └── # スタイルシートを配置する場所
└── templates
└── # htmlファイルのテンプレートを配置する場所
以降、コーディング
(参考) Flask の起動方法
(v-env Name) $ pwd
(Project Top)
(v-env Name) $ python <Python Program>.py ## 当然、Flask をimport して書かれているコード.
## Port は、ローカルホストのみ、リッスン。
* Running on http://127.0.0.1:8000/ (Press CTRL+C to quit)
* Restarting with stat
* Debugger is active!
* Debugger pin code: XXX-XXX-XXX
反省：shell script で、インクリメントにexpr を使っていた件...
ちょっと調査をしていて、Linux 環境上で、実験をしようと思い、簡単なシェルを書いて動かしてみたところ、思った以上に時間がかかってしまいました。何故だろうと思い、pertコマンドを使って調べてみたところ、添字で使っていた変数のインクリメント処理で、expr を使っているのが、処理コストが高いということが判明。
なにも考えずに、何年も使ってきただけに、これはイカンと反省しました。
実験の目的は、RDBMSなり、KVSなりにデータをinsertする処理の性能(TPS)を測定しようとした時に、おそらくテキストデータにinsertする以上の性能はでないのではないかと思ったので、実現したい性能は、果たして現実的なものなのかどうか？というのを実験するために、下記の様なシェルを用意して実行しました。
#!/bin/sh
### iostat.sh
cnt=0;
datestring=`date`;
while [ $cnt -le 85000 ];
do
echo "$datestring:$cnt:AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA" >> output.dat
cnt=`expr $cnt + 1`
done
下記が実行結果。
$ time ./iotest.sh real 0m44.039s user 0m7.543s sys 0m31.058s $
目標としては、1秒間で数万レコードのinsert を受け付けられるような仕組みを作りたかったので、これでは流石に話になりません。が、time のレポートから、sysが妙に高いのが気になりました。なにゆえ？個人的には、userモードで殆ど動く外だし、文字列も小さいので、それ程、IOに跳ね返りがあるとも思えなかったので、気になってperfコマンドで調べてみました。
perfコマンドでレポート出力（上位）
Samples: 25K of event 'cpu-clock', Event count (approx.): 6361750000 Overhead Command Shared Object Symbol 5.95% expr libc-2.22.so [.] _dl_addr 5.66% expr [kernel.kallsyms] [k] finish_task_switch 5.17% expr ld-2.22.so [.] do_lookup_x 4.79% iotest.sh [kernel.kallsyms] [k] perf_event_exec 4.68% expr [kernel.kallsyms] [k] __do_page_fault 3.12% expr ld-2.22.so [.] _dl_relocate_object 3.02% expr [kernel.kallsyms] [k] unmap_single_vma
添字のインクリメントで使っているexprの処理コストが高いんだと...処理の大半が、SYSで使われていて、高コスト処理がexpr であるということで、このやり方が良くないということに初めて気がつきました。 ということで、bashの組み込み？の和算方法に、書き方を次の様に変更
#!/bin/sh
### iotest.sh
cnt=0;
datestring=`date`;
while [ $cnt -le 85000 ];
do
echo "$datestring:$cnt:AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA" >> output.dat
cnt=$((cnt+1))
done
再度計測してみると。
$ time ./iotest.sh real 0m1.729s user 0m1.354s sys 0m0.260s $
ということで、1秒には届きませんが、最初のものより25倍程度、処理が高速になりました。ちなみに、インクリメントの方法を変えた上での、perfの出力は、次のようになりました。
Samples: 2K of event 'cpu-clock', Event count (approx.): 612000000 Overhead Command Shared Object Symbol 7.80% iotest.sh libc-2.22.so [.] _int_free 7.23% iotest.sh libc-2.22.so [.] _int_malloc 5.47% iotest.sh libc-2.22.so [.] malloc 3.55% iotest.sh bash [.] dequote_string 2.78% iotest.sh bash [.] unquoted_glob_pattern_p ...
これ以上、早くするのであれば、シェルを違うものに変えれば、結果は変わってきそうですが、現状を仮想マシン上で実行している事を勘案して、一旦、あまりに無理な事をやろうとしている訳ではなさそうだと言う感触を得ることができました。
まとめると、shell script で変数の四則演算をする時は、expr ではなく、$((value [+-*/] value)) で行うのがいいのだという事がわかりました。多分、本来はこのやり方だと思われるので、なんとも、はずかしい...しかし、自分は何故、exprを使う方法で、計算していたのでしょう...(Bourne Shellには、この方法しかなかった？？）
その他、perf の使い方を備忘の為。
# プロファイルデータの取得 $ perf record <<command>> # レポートの表示 $ perf report
Python 疑問メモ
Python で疑問に思ったことをメモしておきます。このまま放置されるかもね...
- virtualenv を使って、python の実行環境を分けた時、その環境に併せて作成したソースコードは、どこにおくべきか？
環境を分けるのは、それに合わせたコードの書き方をすることになると思うので、当然、環境とコードはセットになるんだと思います。なので、virtualenv で作ったディレクトリ配下に、コード用のサブディレクトリを作成して置いておくというのが正しいのではないかと思うのだけど...
virtualenv に関しては、下記のページで丁寧に説明されていました
HDE BLOG
Python Virtualenv で環境構築の自動化
2016/01/02 00:29今日のPython: VIRTUALENV について
Python Virtualenv の説明
2016/01/02 00:31で、答えなのかわかりませんが、プロジェクトのトップディレクトリ配下に、virtualenv で環境を内包させるというのが、一つのやり方の模様。
FLask Framework Tutorials and Examples
これも、Google+ のPythonコミュニティーからのフィードバック。たすかります^^
2016/01/02 01:53
なるほどなるほど〜。たしかに、eclips でjava のプロジェクト作った時は、トップがプロジェクトで、ライブラリとかはサブディレクトリに起きましたものね。「環境」という言葉のイメージで、どうしても、環境＞プロジェクト＞機能 みたいなイメージで考えてしまってました。
はじめまして！
皆様はじめまして。
タラキと申します。
Blog、マメに更新するのは凄く苦手なので、ちゃんとやっていけるかわかりませんが、ふと記事を残してみようと思い、アカウントを作成してみました。
よろしくお願いします。
さて、ざっくりプロファイルですが、私は、IT業界に身を置き、これまで15年ほどシステムインフラ中心に、仕事を対応してきたエンジニアです。
インフラ中心といっても、設計/構築サービスに特化してきましたので、システムとしてやりたい事をインフラ観点で実現したり（アプリケーション開発チームと役割分担）、構築プロジェクトで何らか問題があった時に、原因調査や解決策の検討を行ったりと、割と短いスパンでシステムに関わっていることが多いポジションです。
ほとんどシステム運用や維持管理といったことには、携わらず、また、プログラミング言語によるシステム開発の経験もありません。
もうかれこれ、15年もIT業界に身を置いているわりに、あんまりITの事に詳しくなかったりするので、これを気に、先何年もITエンジニアとしてやっていけるようにありたいなと感じています。
ということで、節目（？）の15年。もう一度、ITに入門するんだという意味を込めて、このサイト「俺＞リーブート」で、見たこと、知ったこと、思ったことなどをまとめていきたいと思います。
せめて、自分にとって利用価値のあるサイトにできたらなと思います。
閲覧いただきました皆様、暖かい目で見ていただければと思います。また、コメントもどんどん頂けると助かります。
