2005/04/16(土)qmail-scanner(SpamAssassin インストール編)
2005/04/16 5:00
~SpamAssassinインストール編~
SpamAssassinはRBLやBayesを利用する多機能スパムフィルタだ。
今回はこれをqmail-scanner経由でqmailから使えるようにしてみる。
同種のソフトにbogofilterやbsfilterがある。SPamAssassinの良いところはNSに基づいた細かい設定や協調型フィルタリングデータベース(rbl)の利用(その分設定ファイルは異常に長く複雑であるが)が行えるところだろう。その分bogofilterなどに比べると動作速度は遅い(という噂)。単にベイジアンフィルタとして使いたいだけなら、bogofilterの方が早いという情報は良く出てくる。
SpamAssassinをインストールする前に大きなRBLに関しては事前にどれを使うか決めておく必要がある。デフォルトで使えるrblは主に以下3つ。
razor,pyzor,DCC
pyzorは登録が厳しすぎ、DCCは逆に登録が甘すぎるという話で、Razorが一番使い易いらしい。今回はRazorのみ使用する。
[1]Razorのインストール
# apt-get install razor Sorry, but the following packages have unmet dependencies: razor: Depends: libdigest-sha1-perl but it is not going to be installed Depends: libnet-dns-perl but it is not going to be installed Depends: libtime-hires-perl (> 1.20-3) Depends: libmailtools-perl but it is not going to be installed依存関係で怒られて入らない。またもやperl5.6<-->5.8問題? 怪しいところで以下をピックアップしてインストール。
# apt-get install libdigest-sha1-perl/testing
# apt-get install razor/testing今度は入った。
Razor用の設定ファイルを作成するために以下のコマンドを打つ。
# razor-client # razor-admin -d -create -home=/etc/razor[2]SpamAssassinのインストール
ログが大混乱しているので、ハマリは別記事にかいた。これは正当手順(と思われるもの)。
(1)
いつも通りaptで取ってくる。
# apt-get install spamassassin/testingモジュールが足りてないようなので、
# apt-get install libhtml-parser-perl/testing # apt-get install libnet-dns-perl/testing(2)
設定ファイルで、spamassassinを有効にする。
/etc/default/spamassassin
の
注意!:/etc/init.d/spamassassinのENABLEDを書き換えても動かないので注意
/etc/default/spamassassin
OPTIONSに-F 0を追加
(3)
spamdを動かす
# /etc/init.d/spamassassin start(4)
qmail-scannerを生成し直す。qmail-scannerインストールの記事を参照。
# ./configure --lang ja_JP.EUC --admin root --scanners clamdscan,verbose_spamassassin --notify recips,admin --domain dt8.jp --installテスト。
# contrib/test_installation.sh -doitこのテストで通常メール1通と、ウィルス告知メール2通と、スパム判定されてスパム本体が添付に入っているメール1通が送られてくればインストール成功。
[3]SpamAssassin設定
(1)設定調査
SpamAssassinの設定ファイルで日本語もケアしているもので探したところネット上で2つ発見した。
unix-power
http://www.unix-power.jp/linux/local.txt
tlec
http://tlec.linux.or.jp/docs/user_prefs
自分のところに来たメール30通ほどをそれぞれこの設定で処理にかけ、良い方をベースに調整していくことにする。
テストに使用したメールは、ham側(hamは非スパムメールのこと)はDMやMLを中心に誤判定されそうなものをピックアップ、spam側はいくつかは誤判定されそうなものを入れるようにしたが基本的には無作為抽出した。
テスト結果は以下の通り。
--spam-- unix-power tlec 1 22.9 34.5 2 26.8 35.0 3 20.8 23.2 4 13.8 23.9 5 10.6 15.8 6 13.7 19.3 7 28.1 35.4 8 22.7 28.3 9 6.4 9.8 10 9.9 17.0 11 5.6 13.9 12 19.9 28.5 13 15.4 30.3 14 12.4 19.3 15 24.3 27.8 16 7.6 11.9 17 7.8 12.1 18 20.4 25.0 19 15.8 16.0 20 0.2 10.4 --ham-- 1 6.4 10.9 2 5.5 7.6 3 0.5 5.4 4 12.9 12.9 5 5.9 7.8 6 -1.4 2.2 7 6.3 11.2 8 -2.4 2.8 9 6.3 9.2 10 -0.4 3.0 11 3.0 19.1SpamAssassinは各テストの結果をスコアとして加算し最終的にそのメールのスパム/非スパムを判定する。表の数字はスコアだ。
色々考えたが、tlecのものをベースに少し弄ってみることにする。
(2)調整
tlecの出力結果&設定ファイルと延々にらめっこした結果、tlecの設定では
・x-mailerの点は高すぎる。
・SJISNOTXMAILERの点は高すぎる。
・Razor関係の点は低すぎる。
・BLARS関係の点も若干低い。
・URIBL関係の点も若干低い。
・required_hitsは低すぎる。
ということがわかった。このあたりを調整すればいいのだが、下2つ
・BLARS関係
・URIBL関係
はどうやら怪しいRBLだからわざと点が低くしてあるらしい。となると気になるのがRazorの信頼性だが、自分が試した31通では
Spam is Spam 19/20
ham is Spam 0/11
と非常に優秀。
設定ファイルには、「Razor2は間違えることがあるから個別にはあまり点を与えません」と書いてあるのだが、Razorのみに頼っていい気がする。SpamAssassinの評判が悪いのは、Razorの初期点が低いことにあるのではないだろうか(SpamAssassinはDCCやPyzorも使うことを前提としているが、あまりみんなやらない)。
X-MAILERはX-MAILERヘッダをチェックするルールであるが、最近のスパムはあまりつけてこない上にX-MAILERルールには一般的なDM、ML送信ソフトも含まれているようなのでスコア下げ。
SJISNOTXMAILERはXMAILERヘッダが無くbodyがSJISの場合起動するが、普通のbodyがSJISのパターンでも2.0与えているので、ここまで攻撃的にするのはきつすぎると判断しスコア下げ。
hamが全部はいる範囲にrequired_hitsを調整。本当はもう少し点を高くすべきなのだろうが、ham11がspamと判定されても致し方ないような酷いメールなのと、spam19がspam判定されないのはちょっと問題のように思える内容だったので15を採用。
合わせて、auto_learnのthresholdも調整。
結局以下のようにした。
required_hits 8.0 -> 15.0
X_MAILER 7.0 -> 3.0
SJISNOTXMAILER 7.0 -> 2.0
RAZOR2_CF_RANGE_51_100 2.5 -> 7.0
また
error: rule 'GB2312_CHARSETContent-Type' has invalid characters (not Alphanumeric + Underscore) error: rule 'CONTENT_TYPE_PRESENTexists:Content-Type' has invalid characters (not Alphanumeric + Underscore) error: rule 'X_MAILER_PRESENTexists:X-Mailer' has invalid characters (not Alphanumeric + Underscore)とエラーが出るので(単に空白が足りてない)、それも修正した。
添付になるのはいまいちなので、report_safeとrewrite_headerを弄ってsubject書き換えに変更。
3.0と2.0系で指定方法が若干変わっているので注意。
[参考]
http://itc.sfc.keio.ac.jp/announce_open/20050124-spamassassin.html
以下、(元) http://tlec.linux.or.jp/docs/user_prefsと(修正後)/etc/spamassassin/local.cfのdiff。
81c81 < required_hits 8.0 --- > required_hits 15.0 128c128 < header GB2312_CHARSETContent-Type =~ /charset=['"]?GB2312['"]?/i --- > header GB2312_CHARSET Content-Type =~ /charset=['"]?GB2312['"]?/i 180c180 < score X_MAILER 7.0 --- > score X_MAILER 3.0 451,453c451,453 < header CONTENT_TYPE_PRESENTexists:Content-Type < describe CONTENT_TYPE_PRESENTexists:Content-Type < score CONTENT_TYPE_PRESENT-0.1 --- > header CONTENT_TYPE_PRESENT exists:Content-Type > describe CONTENT_TYPE_PRESENT exists:Content-Type > score CONTENT_TYPE_PRESENT -0.1 1243,1245c1243,1245 < header X_MAILER_PRESENTexists:X-Mailer < describe X_MAILER_PRESENTexists:X-Mailer < score X_MAILER_PRESENT0.1 --- > header X_MAILER_PRESENT exists:X-Mailer > describe X_MAILER_PRESENT exists:X-Mailer > score X_MAILER_PRESENT 0.1 1261c1261 < score SJISNOTXMAILER 7.0 --- > score SJISNOTXMAILER 2.0 1323c1323 < score RAZOR2_CF_RANGE_51_100 2.5 --- > score RAZOR2_CF_RANGE_51_100 7.0 2787a2788,2790 > # urara add 05/04/16 > bayes_auto_learn_threshold_nonspam 0.5 > bayes_auto_learn_threshold_spam 30.0 > > report_safe 0 > rewrite_header subject [SPAM(Score=_SCORE_)]この設定で先ほどの31通を再テスト。
--spam-- 1 42.8 2 39.8 3 29.2 4 29.8 5 24.1 6 25.2 7 40.0 8 35.9 9 17.3 10 23.1 11 24.8 12 37.0 13 37.5 14 26.8 15 35.8 16 20.6 17 20.8 18 34.0 19 16.2 20 25.0 --ham-- 1 10.9 2 7.6 3 5.4 4 10.0 5 7.8 6 2.2 7 11.2 8 2.8 9 9.2 10 3.0 11 14.1ギリギリだが全てham is ham, spam is spamになった。
これで当分運用してみる。そのために、メインのメールをこっちに廻さないと行けないのでそれはまた次回。
最後に忘れないように、spamd用に再起動。
# /etc/init.d/spamassassin restart注意)
・spamdは再起動しないとコンフィグを読み込まない。
・spamassassinは/etc/spamassassinの*.cfを全部読み込むようだ。
[参考サイト]
わかりやすいのはここ2つかなあ
http://www.kuri3.net/modules/bwiki/?SecureMail
http://www.unix-power.jp/linux/qmail-scanner.html
http://blog.momo-i.org:81/archives/2004/12/
http://cgipocket.com/newhtml/linux/qmail2.html
http://www.nishnet.ne.jp/anti-spam.html
http://www.aconus.com/~oyaji/suse/spamassassin_suse.htm
http://ssss.jp/~trombik/email/spamassassin.html
http://lab.sakasta.com/unix/spamassassin.html
[設定の出所]
http://tlec.linux.or.jp/topic.html
http://www.unix-power.jp/linux/local.txt
[bogofilterの話とか]
http://uva.jp/dh/mt/archives/000509.html
http://hotwired.goo.ne.jp/webmonkey/2003/09/index2a_page4.html
[日本版のRBL]
http://www.rbl.jp/
[日本語訳]
http://www.fkimura.com/SpamAssassin1.html <-最初にここ知ってればねえ。ちょい古ではありますが
http://ssss.jp/~trombik/eng/
[後付でbayesっぽく使う方法]
http://www.siscom.or.jp/spamassassin.html
2005/04/05(火)SpamAssassin仮メモ
2005/04/05 9:00
予想としては、メーリングリストやスパムほどではないDMがフォールスポジティブに引っかかる可能性が高いので、それ10通とスパム20通を入れて黙々テスト。
$spamassassin <mail> | grep X-[1]SpamAssassin初期設定では、
フォールスポジティブ .. 0
フォールスネガティブ .. 10~25%くらい
日本語で、個別返信を当て込んだようなのはやはりきついか。作業中に誤ってクリックしてしまったりして鬱。
[2]次、TLEC設定( http://tlec.linux.or.jp/docs/user_prefs)で確認。
フォールスポジティブ .. 8/10
フォールスネガティブ .. 0
これで両方0だったら何も考えずにTLEC設定に…… 安易に転ばなくて良かった!
DM系がきついよう。特に鬼門なのが121wareのメルマガとMovableTypeからの認証キーメールで、それぞれ得点が12~14と19.1。この設定ファイルのデフォルトrequired hitsは8.0だったから、これだとまるでスパム扱い。一方スパム側の最低得点は11.8だったのでrequired_hitsの調整次第で何とかなるというわけでもない。もう少し詳細に何がヒットして何がヒットしていないのか確認する必要がある。
今時間がないのでYes/Noの結果だけ眺めてしまったけど、得点もうちょっとちゃんとリストアップしよう。
TLEC設定時のエラーメッセージ
error: rule 'GB2312_CHARSETContent-Type' has invalid characters (not Alphanumeric + Underscore) error: rule 'CONTENT_TYPE_PRESENTexists:Content-Type' has invalid characters (not Alphanumeric + Underscore) error: rule 'X_MAILER_PRESENTexists:X-Mailer' has invalid characters (not Alphanumeric + Underscore)
2005/04/01(金)ドメインについて考察
2005/04/01 3:00
http://www.xwd.jp/jp8.php
普通に考える移転では無料ということで良いようだ。が、21-domainに\2000超分ポイントが残っているので今年1年は少なくとも21-domainのままで確定。
さて、dt8.jpのままでいくか、dt8.orgに移行するかが微妙なところ。
2006年度と2007年度のプーはほぼ確定であり、2008年度では業界か一般か生きてないかのどれか。業界にいる場合の収入が10万~200万で不定なのが難しい。その場合でも年3,980くらいはそんなに重くないのではないかと思う。いやわかんないけど。
仮に21-domainのままでorgへ移行した場合とjpのままの比較、
org jp 2005年度 2000 3980 <--orgは新規登録費用(\1000)がかかる 2006年度 3000 7960 2007年度 4000 11940 2008年度 5000 16920 <--収入発生?21-domainより安いレジストラもあることにはあるが、それぞれ仕入れ値が6$,\3500であることを考えると大幅に安いところはないだろう(value-domainは\990,\3690)。
多少稼げるようになったらdt8.jp取り返したいと思うのでその場合だとまたぞろ新規登録費用がかかる。3年で1万円差がでないことを考えると、dt8.jpのままでいい気がしてきた。
もう少し他の人に意見を聞いてみる。
2005/03/19(土)CPANを使ってみる
2005/03/19 5:00
[1]CPANの基本設定
CPANをインストール
# perl -MCPAN -e shellインストール手順は盲目的に http://www.kuri3.net/modules/bwiki/?SecureMailに従うことにする。
初回起動なので設定を聞かれので、全部yes,Enter連発で通すが以下2箇所だけ変更。
Parameters for the 'make install' command? Typical frequently used setting: UNINST=1 to always uninstall potentially conflicting files Your choice: [] UNINST=1
(1) <a HREF="ftp://ftp.dti.ad.jp/pub/lang/CPAN/">ftp://ftp.dti.ad.jp/pub/lang/CPAN/</a> (2) <a HREF="ftp://ftp.jaist.ac.jp/pub/lang/perl/CPAN/">ftp://ftp.jaist.ac.jp/pub/lang/perl/CPAN/</a> (3) <a HREF="ftp://ftp.kddilabs.jp/CPAN/">ftp://ftp.kddilabs.jp/CPAN/</a> (4) <a HREF="ftp://ftp.ring.gr.jp/pub/lang/perl/CPAN/">ftp://ftp.ring.gr.jp/pub/lang/perl/CPAN/</a> (5) <a HREF="ftp://ftp.u-aizu.ac.jp/pub/CPAN">ftp://ftp.u-aizu.ac.jp/pub/CPAN</a> (6) <a HREF="http://ftp.cpan.jp/" TARGET=_top>http://ftp.cpan.jp/</a> Select as many URLs as you like (by number), put them on one line, separated by blanks, e.g. '1 4 5' [] 2 4 5 6む、ftpにアクセスできない。そういえば、このマシンだとPassive FTPに設定しないとFTPは動いてくれないのだった。
[2]passive FTPに設定する
CPAN上で動く、LWPやNet::FTPでpassive FTPを動かすようにするには環境変数FTP_PASSIVEの設定が必要。
環境変数FTP_PASSIVE=1をセット。とりあえず、/home/urara/.bash_profileに書くことにする。
19a20,21 > export FTP_PASSIVE=1 >CPANの起動時に設定したいなら、
# perl -MCPAN -e '$ENV{FTP_PASSIVE} = 1; shell'その他、passive FTP関係の設定を詰めておく。
wgetをpassive FTPで使うために、/etc/wgetrcのpassive_ftpオプション変更
42c42 < #passive_ftp = off --- > passive_ftp = onlynxをpassive FTPで使うために、/etc/lynx.cfgのFTP_PASSIVEオプション変更
3154c3154 < #FTP_PASSIVE:FALSE --- > FTP_PASSIVE:TRUEftpコマンドは-pオプションをつけるか、pftpコマンドで起動すればpassive FTPになるようだ。
今のところ必要ではないが、CPAN上でconfをいじってやる。
cpan> o conf ftp /usr/bin/pftp[3]qmail-scannerに必要なモジュールをインストール
さて、 http://www.kuri3.net/modules/bwiki/?SecureMailに従って必要なモジュールを全部つっこむことにする。で、あれこれインストール。
ところが、
BerkeleyDB,IP::Country::Fast,Pod::Usage
がうまく入らない…… うーん、
BerkeleyDBインストール時のエラー
# : ./not_there/__db_lock.share: そのようなファイルやディレクトリはありません t/env..........FAILED test 10と思ったら、後日やり直したところIP::Country::Fast,Pod::Usageに関してはきちんと入った。
ちゃんと入らない原因は、
(1)perl本体もCPANで入れなければいけない
(2)少なくともモジュール類はCPANで全部入れ直さなきゃいけない
(3)単に一部パッケージの依存関係が解決していない
どれだろうか。
CPANだと、/usr/local/以下に入ってしまうのでその関係だろうか(debianだとデフォルトは/usr/bin/perlなどになる)。時間もないのでここで断念。Perlは考えどこだなあ。あっちこっちのディレクトリに分散しちゃってるよ……
[参考サイト]
http://www.fuji.sakura.ne.jp/~yada/talk2000/perl.shtml
http://homepage3.nifty.com/hippo2000/perltips/CPAN.htm
http://tech.bayashi.net/svr/doc/wget.html
http://x68000.q-e-d.net/~68user/net/ext-module.html
2005/03/19(土)qmail-scannerインストール時に遭遇した問題
2005/03/18 25:00
なんか色々あり過ぎて、整理し切れていない。引っかかったところを中心に覚えている限りでメモしておく。作業ログ流れで、通常インストール手順とかぶるところもあり、いい加減なところもあり。
qmail-scannerインストールに関する多くのドキュメントでは、suidperlのパーミッションを変更するように書いているが、debianの場合suidperlはperlへのシンボリックリンクに過ぎない。よってパーミッション設定は不要。弄ると多分perlが動かなくなる。
(×:動かなくなった悪例)
# chmod 4711 /usr/bin/suidperlPerl CGIが全滅した。
# chmod 755 /usr/bin/suidperlで書き戻し。
<qmail-scanner.plの設置等はすでに終わっているとして>
qmail-scannerのsrcフォルダから、
# contrib/test_installation.sh -doit4通のテストメールのうち1通目(通常メール)だけは送られてくるが、2通目でエラーを出して止まってしまう。エラーは以下の通り。
Sending eicar test virus - should be caught by perlscanner module... qmail-inject: fatal: qq temporary problem (#4.3.0) Bad error. qmail-inject diedチェックすべきログは、/var/spool/qmailscan/qmail-queue.logと/var/log/mail.err。
原因としてはclamavが動いていないか、メールデータにアクセス失敗している可能性が高い。
/var/spool/qmailscan/qmail-queue.logを覗くと、
/var/spool/qmailscan/tmp/debian111060900649323497: Access denied. ERRORがたくさん出ている。アクセス権問題であるので、
/etc/clamav/clamd.conf
User clamavを
User qscandに変更。
clamavを再起動しようとすると、
# /etc/init.d/clamav-daemon restartpsで確認しても存在していない。立ち上がっていないようである。
/var/log/clamav/clamav.logを見ると、
Sat Mar 12 18:05:27 2005 -> ERROR: Socket file /var/run/clamav/clamd.ctl could n ot be bound: Permission denied今度はclamavの一時ファイルにアクセスできなくなってしまったようだ。これはパーミッションを弄ってやれば良い。
# chgrp qscand /var/run/clamav # chmod 775 /var/run/clamavclamavの実行ディレクトリグループのみをqscandに変えてパーミッションを775にしてやる。若干荒技になるが、でも777よりはましだろう。
再び再起動
# /etc/init.d/clamav-daemon restart立ち上がった。
# contrib/test_installation.sh -doit4通送信中、2と3(ウイルス入り)が配信されなくなった(1はノーマル、4はスパム。recipsオプションが無かったので配信されなくなった)。しかしこの状態では外部からの通常メールが配信されないことが発覚。以下次項に続く。
(注:この問題はswap再設定によって再現性が無くなった可能性があります)
qmail-scannerインストールの過程で、テスト時に躓いた問題。結論はメモリ問題だが、エラーメッセージが特殊なのでメモ。
<qmail-scanner.plの設置等はすでに終わっているとして>
外部からウイルスなどが含まれない通常のメールを送っても配信されない。QMAILQUEUEの設定を切り替えて、qmail-scanner.plを介さずqmail-queueに渡すように設定する。
QMAILQUEUE="/var/qmail/bin/qmail-queue" export QMAILQUEUEと、きちんと動く(QMAILQUEUEを使っている以外は基本のqmailの挙動と同じ、もちろんウイルスはそのまま)ので、QMAILQUEUEがいけないわけではないらしい。うーん、qmail-scanner-queue.plのどっかで躓いている。
/var/log/mail.errを見ると、
Mar 14 01:38:51 debian X-Qmail-Scanner-1.25: [debian11107319314933436] cannot open /var/spool/qmailscan/quarantine-attachments.db - No such file or directoryもちろん、ファイルは存在している。最初はパーミッション問題かと思ったが、実はメモリ確保が不足している問題。つまずいたところでたまたま出たエラーがNo such~ということのようだ。下記サイトなどを眺めていてやっと分かった。
http://slashdot.jp/journal.pl?op=display&uid=779&id=150799
http://sourceforge.net/mailarchive/message.php?msg_id=6806272
http://qmail-scanner.sourceforge.net/FAQ.php
メモリ確保にはqmailの起動スクリプトのulimit値を上げてやる。
/etc/init.d/qmail
53c53 < ulimit -v 8192 --- > ulimit -v 10240いくつが最適値なのかはちょっと分からない。
#swapが原因だったのか再現性が無くなったようなので、現在ulimitを8192に戻して運用中。
2005/03/18(金)インストールメモ
2005/03/18 23:00
# apt-get install/testingした。動くようになったのでとりあえず良し。
2005/03/18(金)環境変数に関する勘違い
2005/03/18 23:00
これまでの自分の理解だと、Unixの環境変数をシステムにを大域的というか、ユーザーがシェル起動時に設定するものと、システムが起動時に設定するもので構成されていてどちらもシステム全体に影響を及ぼすようなものだと考えていた(Windowsチック)。だからログインシェルでMAILQUEUEを設定してやれば他のプロセスの環境変数もそれに従うように考えていた。
正しくは、Unixの環境変数は個々のプロセスが保持する。環境変数は親プロセスから子プロセスに継承されるものと、そのプロセスだけでしか有効でないものがある。bash系のシェルスクリプトで代入した時点でそのプロセスで有効となり、exportすると子プロセスでも有効になる。
だから、シェルスクリプトに環境変数の設定を書いて実行(シェルの子プロセスでは設定されたが)させ、シェルから確認したら「アレ、設定されてないぞ???」(親に戻ってきたらその設定は消えた)ってのは当たり前なのだな。
正規の環境変数の調べ方は以下。
例:qmailのMAILQUEUE環境変数を調べる
$ ps -e | grep qmail-send
$ cd /proc/<proc_number>/environ # cat environ | tr '\00' '\n' | grep MAILQUEUEで、ちゃんと設定されていればOK。trを使っているのは、environに記載される環境変数は\00で区切られているから。
[参考サイト]
man-pagesはちゃんと活用しないとダメだっつの。
http://www.linux.or.jp/JM/html/LDP_man-pages/man5/environ.5.html
http://www.atmarkit.co.jp/flinux/special/proctune/proctune01b.html
2005/03/18(金)swap領域の確保しなおし
2005/03/18 5:00
spamassassinを使っていると凄まじく重くなっていた問題。原因は物理メモリを使い切ったことなのだが、にしてもこんなに重くなるのは挙動不審だと思ったら、どうやらスワップが設定されていないらしい。
スワップ領域の確認
# free total used free shared buffers cached Mem: 124552 110944 13608 0 3608 20852 -/+ buffers/cache: 86484 38068 Swap: 0 0 0おいおいおいおい!
swapを0にしたことはないぞ。
別の方法で確認。
# cat /proc/meminfo MemTotal: 124552 kB MemFree: 13584 kB Buffers: 3636 kB Cached: 20856 kB SwapCached: 0 kB Active: 45332 kB Inactive: 4764 kB HighTotal: 0 kB HighFree: 0 kB LowTotal: 124552 kB LowFree: 13584 kB SwapTotal: 0 kB SwapFree: 0 kB Dirty: 4 kB Writeback: 0 kB Mapped: 31944 kB Slab: 50476 kB Committed_AS: 115528 kB PageTables: 1096 kB VmallocTotal: 909276 kB VmallocUsed: 724 kB VmallocChunk: 908552 kB # cat /proc/swaps #やっぱり動いていない。
起動設定を確認。
# cat /etc/fstab # /etc/fstab: static file system information. # # <file system> <mount point> <type> <options> <dump> <pass> /dev/hda1 / ext2 errors=remount-ro 0 1 /dev/hda2 none swap sw 0 0 proc /proc proc defaults 0 0 /dev/fd0 /floppy auto user,noauto 0 0 /dev/cdrom /cdrom iso9660 ro,user,noauto 0 0おかしいな。やはり起動設定(fstab)には書かれているし、インストール後にswapの確認をした記憶がある。HDDを入れ替えたときになんかやっちゃったか。
# fdisk /dev/hda コマンド (m でヘルプ): p ディスク /dev/hda: ヘッド 16, セクタ 63, シリンダ 77520 ユニット = シリンダ数 of 1008 * 512 バイト デバイス ブート 始点 終点 ブロック ID システム /dev/hda1 * 1 73504 37045858+ 83 Linux 領域 1 はシリンダ境界で終わっていません: 物理=(1023, 254, 63) (1023, 15, 63) であるべきです /dev/hda2 73504 75592 1052257+ 83 Linux 領域 2 はシリンダ境界で終わっていません: 物理=(1023, 254, 63) (1023, 15, 63) であるべきです /dev/hda3 75592 77520 971932+ 82 Linux スワップ 領域 3 はシリンダ境界で終わっていません: 物理=(1023, 254, 63) (1023, 15, 63) であるべきですビンゴ。パーティションがおかしいっつね。うちは色々な理由(ウソ)があってswap以外パーティション切らないでやっているが、hda2は切った記憶がない。サイズも中途半端だし、こいつはなんだろう。
マウント確認。どうでもいいけど、mountって打つとPC-8001を思い出す。
# mount /dev/hda1 on / type ext2 (rw,errors=remount-ro) proc on /proc type proc (rw) devpts on /dev/pts type devpts (rw,gid=5,mode=620) tmpfs on /dev/shm type tmpfs (rw) sysfs on /sys type sysfs (rw) usbfs on /proc/bus/usb type usbfs (rw)マウントされてない。
確認のためにマウントして覗いてみる。
# mkdir /mnt/hda2 # mount -r -t ext2 /dev/hda2 /mnt/hda2 # ls -alF /mnt/hda2/ 合計 56 drwxr-xr-x 3 root root 4096 4月 19 2003 ./ drwxr-xr-x 3 root root 4096 3月 17 20:45 ../ drwxr-xr-x 2 root root 49152 4月 19 2003 lost+found/ debian:/mnt/hda2/lost+found# ls -alF 合計 52 drwxr-xr-x 2 root root 49152 4月 19 2003 ./ drwxr-xr-x 3 root root 4096 4月 19 2003 ../使われていないよう。hda2パーティション消そう。Linux上でhda3->hda2への差し替え方法が無いか調べてみたけど、なんか怖いことが書いてある情報しか出てこなかったのと今回は時間がないのでPartitionExpertで強引に切り直す。fdiskもようわからんし。
hda2消去、hda1をhda1+hda2まで拡張する。で処理時間3分強。swapがデバイスID:hda3のままなのでいったん消去して確保し直す。PartitionExpertはlinuxのデバイスIDが確認できるところがすばらしいが、変更できるとなおいいのにな。
再起動
# free total used free shared buffers cached Mem: 124552 115604 8948 0 2668 40500 -/+ buffers/cache: 72436 52116 Swap: 971924 0 971924いよし。
[参考サイト]
http://www.math.kobe-u.ac.jp/~kodama/tips-free-memory.html
http://www.glasscom.com/tone/linux/SysManage/Disk.htm
http://www.a-yu.com/opt/fdisk.html
http://x68000.q-e-d.net/~68user/unix/pickup?mount
2005/03/15(火)qmail-scanner(qmail-scanner インストール編)
2005/03/15 11:00
~Qmail Scannerインストール編~
Qmail Scannerをインストールしてウイルスチェックが出来るところまで。
●Qmail Scannerには以下のパッケージが必要。
・unzip
zip添付を開くのに必要
・Perl 5.005_03+以上
-PerlのTime::HiResモジュール
ナノセカンド精度のタイマーモジュール
-PerlのDB_Fileモジュール
Berkeley DB によって提供されている機能をPerlプログラムで使えるようにする
-suidperl
ディストリビューションによってパッケージ名が違う。debianではperl-suid
・MailDropのreformime
MIMEの展開・再構成に使うっぽい
・TNEF
MS OEやExchangeがリッチテキスト形式のメールを送る際に添付する、application/ms-tnefタイプの情報を読めるようにする。この時普通の添付もこれに吸収されてしまう?
・qmailqueue-patch
環境変数QMAILQUEUEを使えるようにする。qmailはQMAILQUEUEで設定されたキューにメールを渡すようになる。
[1]unzip確認
$ which unzip /usr/bin/unzip[2]perlバージョン+モジュール確認+perl-suidインストール
(1)Perlバージョンの確認
$ perl -v This is perl, v5.8.3 built for i386-linux-thread-multi(2)モジュールの確認
$ perl -mTime::HiRes $ perl -mDB_File $ perl -mSys::SyslogCan't locateで怒られないのでインストール済み。
(3)suidperlのインストール
aptをtestingにして、
# apt-get install perl-suidチェックしたのに、依存関係でperlのバージョンが5.8.4-7に上がってしまいました。
インストール確認
$ which suidperl /usr/bin/suidperl[3]MailDropのreformimeインストール
reformineだけで良いようだが、素直に全部ぶち込むことにする。
# apt-get install maildropインストール確認
$ which reformime /usr/bin/reformimecourier-maildropはメルサバCourier専用だろうか。普通のmaildropで良いと思う。
[4]TNEFインストール
# apt-get install tnefインストール確認
$ which tnef /usr/bin/tnef[5]qmailqueue-patchインストール
debianパッチにQMAILQUEUEパッチが含まれていたためこの作業は必要無し。
以下、気づかずに進めたときの作業ログ
# cd /usr/src/qmail-src/ # wget <a HREF="http://www.qmail.org/qmailqueue-patch" TARGET=_top>http://www.qmail.org/qmailqueue-patch</a> # tar -xvzf qmail_1.03.orig.tar.gz # cd qmail-1.03/ # patch -p1 <../qmail-date-localtime.patch # patch -p1 <../qmailqueue-patch # zcat ../qmail_1.03-36.diff.gz | patch -p1としたところで、
Reversed (or previously applied) patch detected! Assume -R? [n]と2回ほど注意される。conflictというより、単にdebianのpatchに含まれてるのではないかと思い、grepしたところ、
# zcat ../qmail_1.03-36.diff.gz | grep MAILQUEUE ++ binqqargs[0] = env_get("QMAILQUEUE"); ++ variable QMAILQUEUE. Also known as qmailqueue patch. ++QMAILQUEUE ++ if (env_get("QMAILQUEUE")) { ++ logstring(2,env_get("QMAILQUEUE")); + binqqargs[0] = env_get("QMAILQUEUE");これは含まれているっぽい。debian本家に調べに行くと、 http://packages.debian.org/changelogs/pool/non-free/q/qmail/qmail_1.03-36/changelogに、
qmail (1.03-21) testing unstable; urgency=low * Added QMAIL-QUEUE patchとなっているので、追加済み確定。
[6]qmail-scannerインストール
(1)qscandユーザー追加
# groupadd qscand # useradd -g qscand -s /bin/false qscand(2)ソースダウンロード
最新版は1.25
http://prdownloads.sourceforge.net/qmail-scanner/qmail-scanner-1.25.tgz
からソースをダウンロード(sourceforgeだからwgetじゃダメ)。
(3)インストール
$ tar -xvzf qmail-scanner-1.25.tgz $ cd qmail-scanner-1.25 # ./configure /usr/bin/reformime contains bugs. Please upgrade to a release that post-dates Mar 22 2002 (e.g. 1.3.8)reformimeが古いと怒られた。
# apt-show-versions -a -p maildrop maildrop 1.3.7-2 install ok installed maildrop 1.3.7-2 stable maildrop 1.5.3-1.1 testing maildrop 1.5.3-1.1 unstable maildrop/stable uptodate 1.3.7-2なので、testingを入れることにする。
# apt-get install maildrop/testing # ./configureスクリプト生成プログラムのテストが通ったので、ちゃんと生成し直す。
# ./configure --lang ja_JP.EUC --admin root --notify recips,admin --domain dt8.jp --install
- langは通知メールの言語、--adminと--domainは合わせて管理者メルアドだと思ってよい。--notifyは通知のポリシー決めで、recipsは受信者、adminは管理者へそれぞれ通知する。ウイルスメールの場合詐称があるので、送信元アドレスは当てにならずsenderは使いづらい。Stray Penguinにlsndr(ローカルの送信者)に通知するパッチがあるが、きちんと動くなら不用意にウイルスに感染した自ドメインのユーザへの自動通知が出来る? 今後の課題だろうか。adminの代わりにml宛先を除いたnmladmが使われることも多い。自分にはml宛先ウイルスを通知することによる不利益が今ひとつぴんと来ないので、当面adminで使う。その他の通知先は[参考サイト]を参照。
(4)QMAILQUEUE設定
/etc/init.d/qmail
に以下のdiff2行分を追加。
35a36,38 > QMAILQUEUE="/var/qmail/bin/qmail-scanner-queue.pl" > export QMAILQUEUE >qmailの起動スクリプトにQMAILQUEUEの設定をしておく。起動スクリプトは環境によって違うがtcpserver起動の前に設定されるようにしておけば大丈夫だろう。
(5)ulimit修正
同じく、
/etc/init.d/qmail
のulimitの値を変更。
53c53 < ulimit -v 8192 --- > ulimit -v 10240メモリ制限はQMAIL-SCANNERの頻出問題だ。私はこう理解している。デフォルトでqmailは自身の起動にギリギリ程度のメモリ値を設定ファイルに記述する。qmail-scannerを介し使うようにした時に、その設定値を超えてスクリプトがストップすることがある。想定外のストップにスクリプトは止まった箇所によって様々なエラーを吐く。ファイルがないといわれたり、パーミッションが違うと言われることもある。それで数多の管理者を混乱させるのだ。qmail-scannerインストール時には、このメモリ制限問題とパーミッション問題がよく起こる。発生したら適切に切り分ける必要がある。daemontools使用時?はulimitではなく、softlimitの設定値かもしれない。
(6)日本語euc->JIS修正
ウィルス告知メールがeucで飛んでくる。文字化けするメーラーも結構あるのでJISに修正してやる。
1876c1876 < open(SM,"|$qmailinject -h -f ''")||&error_condition("cannot open $qmailinject for sending quarantine report - $!"); --- > open(SM,"|/usb/bin/nkf -j|$qmailinject -h -f ''")||&error_condition("cannot open $qmailinject for sending quarantine report - $!"); 2003c2003 < open(SM,"|$qmailinject -h -f ''")||&error_condition("cannot open $qmailinject for sending quarantine report - $!"); --- > open(SM,"|/usr/bin/nkf -j|$qmailinject -h -f ''")||&error_condition("cannot open $qmailinject for sending quarantine report - $!");要するに、qmailinjectの前にパイプでnkfを挟んでやるだけだ。2箇所修正が必要。
(7)起動とテスト
qmailを再起動
# /etc/init.d/qmail restartテスト
# contrib/test_installation.sh -doit4通のメールのうち2通目と3通目がウィルス告知メールになっていれば成功だ。1通目は通常メールで、4通目はスパムテスト用なので、この段階では配信されるはず。
http://www.eicar.org/anti_virus_test_file.htm
からテストウィルスを落としてプロバイダ経由で送信(注:怒られる危険性があるのであんまりやってはいけません)すると、管理者宛と受信者宛に2通通知が届くことを確認する。
プロバイダ経由で普通のメールの送受信も確認しておく(メモリ制限問題でqmail-scannerが止まる場合、届かないことがある)。
あとは多量のウイルスで検査するも、放っておくも良し。
[参考サイト]
ここがわかりやすい。
http://www.asahi-net.or.jp/~aa4t-nngk/qmail6.html
以下はそれぞれ微妙に情報か解説が不足している。
http://www.atmarkit.co.jp/flinux/rensai/qmail08/qmail08c.html
http://www.itmedia.co.jp/help/howto/security/special6/02.html
http://www.tom.sfc.keio.ac.jp/~torry/ldap/ldap.html#doc10_1122
http://www.unix-power.jp/linux/qmail-scanner.html
http://www.fkimura.com/qmail0.html
関係する情報
http://www.i-ml.jp/cgi-bin/bbs/memo.cgi?m=e
http://moin.qmail.jp/
http://www.planet-green.com/linux/qmail.html
2005/03/15(火)qmail-scanner (clamav インストール編)
2005/03/15 11:00
~clamavインストール編~
今回長いのとトラブル頻出したので、インストール記事3ステップとトラブル記事に分けて書く。
[1]インストール
debianのtestingでも問題が出たので、unstableを入れた。Versionは0.83-3
# apt-get clamav/unstable動作確認。
# ps -e | grep clam 19213 ? 00:00:00 freshclam 24801 ? 00:00:03 clamdウイルス定義ファイル更新daemonのfreshclamとスキャン用のclamdが動いている。clamdはdaemonで動いているが、別にリアルタイムブロックしてくれるわけではない(はず)。daemonで動いているのは単に定義ファイルの読み込みが1回ですむからという理由のようだ。詳しくは[参考サイト]を見るといい。
[2]user権限変更
必ず必要なのが以下2点。他は設定しなくても大丈夫そうだ。
(1)clamdはqmail-scanner用のユーザqscandで動かす。
/etc/clamav/clamd.conf
User clamavを
User qscandに変更。
再起動
# /etc/init.d/clamav-daemon restart(2)clamdがtmpやソケットを作れなくなってしまうので、パーミッションを弄る。
# chgrp qscand /var/run/clamav # chmod 775 /var/run/clamavこのディレクトリ構造はdebianパッケージに強く依存するようなので、ソースからインストールした場合は[参考サイト]を参照した方がよい。
[3]clamのdaemon動作をチェックする
daemontoolsを使えば他のdaemonも含めて管理できるようだが、今回はシェルスクリプトとcronで定期的にプロセスが動いているかどうかを監視することにする。
/etc/cron.daily/check_clamを作成し、以下の内容とする。
#!/bin/sh if [ `ps -ef| grep /usr/bin/freshclam| grep -v grep| wc -l` != 1 ]; then message="freshclam stopped!" echo $message | mail -s "daemon Caution! : freshclam" urara@dt8.jp fi if [ `ps -ef| grep /usr/sbin/clamd| grep -v grep| wc -l` != 1 ]; then message="clamd stopped!" echo $message | mail -s "daemon Caution! : clamd" urara@dt8.jp fi1日おきにclamdとfreshclamが動いているかどうかを調べ、動いていなかったらメールを投げる。
ps -ef でフルパス指定しないと命名によってはこのスクリプト自体がgrepに引っかかる。grep -v grepは出力結果にgrep自体が含まれるので、"grep"が含まれているものを取り除く(反転する)。最初これを忘れていて混乱した。
なんでこんなことをするかというと、止まってすぐ分かるサービスと違って、freshclamは気づきにくくかつセキュリティへの影響が大きいから。ぶっちゃけ、一時サービスが止まってたことがあって心配なのでしばらくチェックさせたいのだ。本当はcronで書いちゃえばすむ話。
[参考サイト]
ここがわかりやすい。
http://www.asahi-net.or.jp/~aa4t-nngk/qmail5.html
clamav本家
http://clamav-jp.sourceforge.jp/jdoc/clamav.html