事象の水平線

個人的ブックマーク代わりなメモ書きブログ。 地球は丸いよ。↓このへん。

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

PageTop
epgrecのdo-record.shで録画終了時にtsselectを走らせてログにドロップの有無を吐くようにしてあるのですが、クライアントでTSファイルを見ているときにこのタイミングにあたると、ディスクIOを持っていかれてたまーにカクカクなるので、何とかしてみた。メモ。

cgroupというのでグループごとにいろいろと制限をかけれるらしい。
<<参考>>
cgroup でプロセス毎のDisk (block device) へのI/O の帯域制限 blkio.throttle.*
cgroup について理解する - いますぐ実践! Linuxシステム管理 / Vol.228
7.9. cgroupの使用事例
cgroupsによるIO帯域の制限
第3章 サブシステムと調整可能なパラメータ
openSUSE 12.3: 第10章 カーネルのコントロールグループ
2.9. コントロールグループ内のプロセスの開始 - Red Hat Customer Portal

インストール
[root@NAS ~]# yum install -y libcgroup
Loaded plugins: fastestmirror, priorities, refresh-packagekit, security
Loading mirror speeds from cached hostfile
* base: www.ftp.ne.jp
* extras: www.ftp.ne.jp
* rpmforge: ftp.riken.jp
* updates: www.ftp.ne.jp
15 packages excluded due to repository priority protections
Setting up Install Process
Resolving Dependencies
--> Running transaction check
---> Package libcgroup.x86_64 0:0.37-4.el6 will be updated
---> Package libcgroup.x86_64 0:0.37-7.1.el6 will be an update
--> Finished Dependency Resolution

Dependencies Resolved

==============================================================================================
Package Arch Version Repository Size
==============================================================================================
Updating:
libcgroup x86_64 0.37-7.1.el6 updates 111 k

Transaction Summary
==============================================================================================
Upgrade 1 Package(s)

Total download size: 111 k
Downloading Packages:
libcgroup-0.37-7.1.el6.x86_64.rpm | 111 kB 00:00
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Updating : libcgroup-0.37-7.1.el6.x86_64 1/2
Cleanup : libcgroup-0.37-4.el6.x86_64 2/2
Verifying : libcgroup-0.37-7.1.el6.x86_64 1/2
Verifying : libcgroup-0.37-4.el6.x86_64 2/2

Updated:
libcgroup.x86_64 0:0.37-7.1.el6

Complete!
[root@NAS ~]# ls /cgroup   確認:インストールだけでは何も無いらしい
[root@NAS ~]# chkconfig cgconfig on
[root@NAS ~]# service cgconfig start
Starting cgconfig service: [ OK ]
[root@NAS ~]# ls /cgroup/   確認:サービスを立ち上げることで何かできた
blkio cpu cpuacct cpuset devices freezer memory net_cls
[root@NAS ~]# lssubsys    サブシスの確認:上記と同じだけある
cpuset
cpu
cpuacct
memory
devices
freezer
net_cls
blkio
[root@NAS ~]#


DiskIOの制限
blkio(ブロックアイオー?)で出来るらしい。
[root@NAS ~]# ls /cgroup/blkio   いろいろある
blkio.io_merged blkio.throttle.io_service_bytes blkio.weight_device
blkio.io_queued blkio.throttle.io_serviced cgroup.event_control
blkio.io_service_bytes blkio.throttle.read_bps_device cgroup.procs
blkio.io_serviced blkio.throttle.read_iops_device notify_on_release
blkio.io_service_time blkio.throttle.write_bps_device release_agent
blkio.io_wait_time blkio.throttle.write_iops_device tasks
blkio.reset_stats blkio.time
blkio.sectors blkio.weight

blkio.throttle.read_bps_deviceblkio.throttle.write_bps_device に書き込むことでbpsでDiskIOを制限できる。
書式は Major:Minor 設定値
Major:Minor は
[root@NAS ~]# ls -l /dev/sda
brw-rw----. 1 root disk 8, 0 Jun 19 22:26 /dev/sda
という感じで、ls -l で/dev/sdaが8:0とわかる。らしい。
ちなみに、パーティションが分かれている場合 /dev/sda1 で 8, 1 とかになるが、cgroup側で認識できない場合があるらしい。その場合は/dev/sdaの8:0と全体でやる。らしい。

実験
まだ何も無いことを確認
[root@NAS ~]# cat /cgroup/blkio/blkio.throttle.write_bps_device
/tmpを使う
[root@NAS ~]# df /tmp
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/sda2 477615072 406492672 66271500 86% /
[root@NAS ~]# ls -l /dev/sda
brw-rw---- 1 root disk 8, 0 Jun 9 19:30 /dev/sda

まず、制限なしで計測
[root@NAS ~]# time dd if=/dev/zero of=/tmp/ddtest bs=100M count=10
10+0 records in
10+0 records out
1048576000 bytes (1.0 GB) copied, 8.42001 s, 125 MB/s

real 0m8.592s
user 0m0.000s
sys 0m4.419s

キャッシュのフラッシュとかおまじない
[root@NAS ~]# sync
[root@NAS ~]# echo 3 > /proc/sys/vm/drop_caches

10MB/sに制限
[root@NAS ~]# echo "8:0 10487560" > /cgroup/blkio/blkio.throttle.write_bps_device
確認
[root@NAS ~]# cat /cgroup/blkio/blkio.throttle.write_bps_device
8:0 10487560

計測
[root@NAS ~]# time dd if=/dev/zero of=/tmp/ddtest bs=100M count=10
10+0 records in
10+0 records out
1048576000 bytes (1.0 GB) copied, 83.1922 s, 12.6 MB/s

real 1m23.527s
user 0m0.000s
sys 0m5.021s
[root@NAS ~]#
ちょっち速くね?

ちなみに、ディスクIOを確認するのにiostatiotopが便利。
[root@NAS ~]# iostat -xtcm 2
オプションは、拡張表示、更新時間を表示、cpu使用率を表示、MBで表示、2秒更新
<<参考>>
iostat(1) - Linux man page

iotopはtopみたいにIOを表示する。インストールされてなかったので、インストールから
[root@NAS ~]# yum install iotop
使い方
[root@NAS ~]# iotop -u apache
オプションは
-u user
-p pid
<<参考>>
iotop日本語man

また、制限をなくす場合は、0を書き込む
[root@NAS ~]# echo "8:0 0" > /cgroup/blkio/blkio.throttle.write_bps_device
[root@NAS ~]# cat /cgroup/blkio/blkio.throttle.write_bps_device
[root@NAS ~]#

さらに、いくつものデバイスに対して制限を掛ける場合も、ひとつずつ > で書く。
>> でも書けたようだが>が普通みたい。




ただ、これだと一つのデバイスに関わるプロセス全てに制限がかかっているだけなので意味がない。

そこで、プロセスごとに制限をかけるためにグループを作り、そのグループの中のtasksにPIDを入れるとそのプロセスがグループで制限対象になる。らしい。
ディレクトリを作ると、グループが出来るらしい。
[root@NAS ~]# mkdir /cgroup/blkio/test
[root@NAS ~]# ls /cgroup/blkio/
blkio.io_merged blkio.throttle.io_service_bytes blkio.weight_device
blkio.io_queued blkio.throttle.io_serviced cgroup.event_control
blkio.io_service_bytes blkio.throttle.read_bps_device cgroup.procs
blkio.io_serviced blkio.throttle.read_iops_device notify_on_release
blkio.io_service_time blkio.throttle.write_bps_device release_agent
blkio.io_wait_time blkio.throttle.write_iops_device tasks
blkio.reset_stats blkio.time test
blkio.sectors blkio.weight
[root@NAS ~]# ls /cgroup/blkio/test
blkio.io_merged blkio.sectors blkio.time
blkio.io_queued blkio.throttle.io_service_bytes blkio.weight
blkio.io_service_bytes blkio.throttle.io_serviced blkio.weight_device
blkio.io_serviced blkio.throttle.read_bps_device cgroup.event_control
blkio.io_service_time blkio.throttle.read_iops_device cgroup.procs
blkio.io_wait_time blkio.throttle.write_bps_device notify_on_release
blkio.reset_stats blkio.throttle.write_iops_device tasks

[root@NAS ~]# echo "8:0 10485760" > /cgroup/blkio/test/blkio.throttle.read_bps_device
[root@NAS ~]# cat /cgroup/blkio/test/blkio.throttle.read_bps_device
8:0 10485760

以下の書き方をすれば、PIDを渡しながらコマンドを実行できる
cgexec -g subsystems:path_to_cgroup command arguments
[root@NAS ~]# cgexec -g blkio:test command command_arg

もちろん
[root@NAS ~]# command command_arg &
echo $! > /cgroup/blkio/test/tasks
としても実行は可能。
コマンドを走らせて、psでpid調べてechoしても当然可能。

実験は省略(というか、よくわからないけどddだとうまくいかない。なんで?VirtualBox上の外付けUSBHDD(NTFS)でやったときは、ddではなくmountNTFSとかいうプロセスを/cgroup/blkio/test/tasksに入れたらうまく行った。)

cgroupがリスタートすると作ったグループ(フォルダ)は消えるので(たぶん)
/etc/cgconfig.conf に設定を書いておけば、cgroupサービスが走るたびにグループの設定が勝手に出来る。みたい。
/dev/sdbに50MB/sのreadcapをかけたグループを作り、do-record.shでcgexecを使ってtsselectを呼び出してみた。
[root@NAS ~]# vi /etc/cgconfig.conf
#
# Copyright IBM Corporation. 2007
#
# Authors: Balbir Singh
# This program is free software; you can redistribute it and/or modify it
# under the terms of version 2.1 of the GNU Lesser General Public License
# as published by the Free Software Foundation.
#
# This program is distributed in the hope that it would be useful, but
# WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
#
# See man cgconfig.conf for further details.
#
# By default, mount all controllers to /cgroup/

mount {
cpuset = /cgroup/cpuset;
cpu = /cgroup/cpu;
cpuacct = /cgroup/cpuacct;
memory = /cgroup/memory;
devices = /cgroup/devices;
freezer = /cgroup/freezer;
net_cls = /cgroup/net_cls;
blkio = /cgroup/blkio;
}

group sdb_readcap50MB {
blkio {
blkio.throttle.read_bps_device="8:16 52428800";
}
}


[root@NAS ~]#

do-record.shには適度にコマンドを埋め込んた。
tsselece.shはtsselectで適度にログを吐くようにスクリプトを書いてある。
sudo cgexec -g blkio:sdb_readcap50MB /usr/local/bin/tsselect.sh ${file}
cgexec はsudoが必要らしい。※visudo忘れずに。
tsselect.shの中でtsselectを呼んでいるが、ターミナル上ではフルパスじゃなくても動いたのに、スクリプトでcgexecからだとフルパスじゃないと動かない。何故かわからないが、まぁ、環境変数の絡みなんだろう・・・めんどいので調べてない。
cgexec.png
制限がかかってる様子。上がiostat -xcm 2 下はiotop
制限なしだと100MB/sとか120MB/sとか出てる
クライアントで2倍速くらいで見ててもカクカクしなくなって満足。
スポンサーサイト

PageTop

コメント

 ※
 ※
管理者にだけ表示を許可する
  ※ 必須項目です

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。