トラブル対策記録

トラブル対策記録

2001年1月3日に qmailでメール送受信ができなくなりました。 2001年1月10日に対策完了しました。

現象
2001年1月2日まで何の問題もなく動作した qmail が1月3日に突然不調になった。 1月3日の最初のうちは動作したりしなかったり、半日くらい経って完全にメールの送信も受信もできなくなった。
調査
- さては「1年遅れの2000年問題か？」「ハッキング被害か？」と慎重に調査しました。
- qmail関連のファイルを詳細に調査しましたが書き換えられたものはなく、特に問題となる設定もなかった。よくわからん！！！
- ハタと思いついてログファイル /var/log をオール消去して再立ち上げしたらすんなり直ってしまった。
毎日マシンから届いている「nice.kaze.com daily run output」レポートメールなどほとんどマトモに見たことはなかったが、過去のレポートをよく見てみると1月2日の時点ですでに99%だった！！！
```
Disk status:
Filesystem  1K-blocks     Used    Avail Capacity  Mounted on
/dev/wd0a       49583    19632    25985    43%    /
/dev/wd0s1f   1796887   284593  1368544    17%    /usr
/dev/wd0s1e     19815    18049      181    99%    /var
procfs              4        4        0   100%    /proc
```
そう言えば最近では私のホームページへのアクセスが1日に200ヒットを超すようになって /var/log/httpd-access.logが1日に 0.5MB近く増えるようになってしまっています。単純計算では40日しか /varディレクトリがもたない。

対策
/etc/newsyslog.conf で、ログのローテーションを設定しました。こうすると古いログは自動的に消去されていくので /varがパンクしなくなります。以下のように設定しました。

# configuration file for newsyslog
# $FreeBSD: src/etc/newsyslog.conf,v 1.16.2.3 1999/08/29 14:18:51 peter Exp $
#
# logfilename          [owner.group]    mode count size when [ZB] [/pid_file] [sig_num]
/var/cron/log                           600  3     100  *     Z
/var/log/amd.log                        664  7     100  *     Z
/var/log/kerberos.log                   664  7     100  *     Z
/var/log/lpd-errs                       664  7     100  *     Z
/var/log/maillog                        664  7     *    24    Z
/var/log/sendmail.st                    664  10    *    168   B
/var/log/messages                       664  5     100  *     Z
/var/log/slip.log                       600  3     100  *     Z
/var/log/ppp.log                        600  3     100  *     Z
/var/log/httpd-access.log               664  7     100  *     Z /var/run/httpd.pid
/var/log/httpd-error.log                664  7     100  *     Z /var/run/httpd.pid

「ログファイル名」「ログファイルのパーミッション」「保存する過去ログファイルの数」「ログファイルの容量がいくつ以上になったらログを更新するか」「指定の時間毎にログを更新(*は、未設定/24であれば24時間毎)」「過去ログをアーカイブで保存する」「デーモンのpidファイル」の順に並べます。

2001年2月28日から nice.kaze.com が非常に不安定になりました。 2001年3月6日に対策完了しました。

現象
- httpdが不安定である。 httpdがダウンする。 rebootしても変らず。
- popを開く時の最初のloginで非常に時間がかかる。 10秒くらい。
調査
- httpdについては /var/log/httpd-error.log を参照してみると以下の SIGHUPが出て alertが出るパターンで httpdダウンしていることが判明しました。
```
[Wed Feb 28 10:00:00 2001] [notice] SIGHUP received.  Attempting to restart
[Wed Feb 28 10:00:00 2001] [alert] mod_unique_id: unable to gethostbyname("nice.kaze.com")
```
  alertの内容は「nice.kaze.comという名前で DNS参照できなかった。」です。また、SIGHUPは誰が出しているかと言うことですが、ログのローテーターが発行していました。その証拠にピッタリ正時に SIGHUPが発行されています。
- mailについては /var/log/maillog を参照してみると以下の「CNAME_lookup_failed_temporarily._(#4.4.3)」が出ていることが判明しました。
```
Mar  5 08:12:01 nice qmail: 983747521.520358 delivery 519: deferral: CNAME_lookup_failed_temporarily._(#4.4.3)/
```
  これも DNSの CNAME参照で失敗していることを示しています。
対策
- httpdの対策です。 /etc/resolv.conf で kaze.comを指定していますが、ネット上の混雑などで経路が途切れると「unable to gethostbyname("nice.kaze.com")」のメッセージが出るようです。よって、niceのマシン自身で名前解決をするようにしました。 /etc/hostsは localhostしか設定していなかったので、これを以下のようにしました。
```
127.0.0.1 localhost localhost.nice.kaze.com
211.7.156.112 nice.kaze.com nice
```
- mailの対策です。 /etc/resolv.conf で nameserverの設定は日本の環境にある「ネームサーバC」のみを指定していましたところがよく調べてみると本来の nameserverは「ネームサーバA」がプライマリで、「ネームサーバB」がセカンダリだったのです。よって、従来は「ネームサーバC」で名前の解決ができないので「ネームサーバC」は「ネームサーバA」に問い合わせしていたようです。以上より、/etc/resolv.confを正しく書き直しました。 nameserverの指定は３つまで書けるようなので、このようにしました。上から順に使用されます。
```
domain	kaze.com
nameserver	(ネームサーバAのIPアドレス)
nameserver	(ネームサーバBのIPアドレス)
nameserver	(ネームサーバCのIPアドレス)
```

2001年5月25日に自宅にADSLを導入したことにより、自宅のルータ(nice.kaze.comから見ると端末側になります。)を取り替えました。この後、qmailのpop3を開くのが非常に遅くなりました。 2001年5月27日に対策完了しました。

現象
- nice.kaze.comの pop3認証に時間がかかる。(10秒くらい余分にかかる。)
- 自宅のルータ(Linksys BEFSR41)側の設定で対応できない。ルータがNTT-MEのMN128-SOHO/SL11の時はルータ側の設定で対応できていた。
原因
- MTAとして使っているqmailは tcpserverから起動するが、この tcpserverが IPアドレスからの逆引き認証を行う。ところが、tcpserverから積極的に出された IPアドレス(当然グローバルIPアドレスです。)に対して BEFSR41がこのパケットをどのクライアントに送ったら良いのか判らないのです。 (MN128-SOHO/SL11では最後に通信したクライアントを覚えていてこちらへ送る設定ができたのですが、BEFSR41ではできない。むしろこれが普通みたいです。)

対策

原因から考察すると、サーバー設定を変更して逆認証を止めるのが正しいと思う。
http://djbdns.jp.qmail.org/tools/tcpserver.html のページを見ると tcpserverに -R -H -l0 のオプション指定をすることを奨めている。これを実行してみたら逆認証を止めることができた。

変更後の /var/qmail/rc 記述です。

nice# cat /var/qmail/rc

#!/bin/sh

# Using splogger to send the log through syslog.
# Using qmail-local to deliver messages to ~/Mailbox by default.
exec env - PATH="/var/qmail/bin:$PATH" \
qmail-start ./Maildir/ splogger qmail&

# for SMTP server
/usr/local/bin/tcpserver -R -H -l0 -u 81 -g 81 \
-x /etc/tcp.smtp.cdb \
0 smtp /var/qmail/bin/pop5smtp \
/var/qmail/bin/qmail-smtpd &

# for POP3 server
/usr/local/bin/tcpserver -R -H -l0 0 pop3 \
/var/qmail/bin/qmail-popup `/bin/hostname` \
/usr/local/bin/checkpassword \
/var/qmail/bin/pop5smtp \
/var/qmail/bin/qmail-pop3d Maildir &

2002年3月23日に、私のホームページをアクセスするのに http://nice.kaze.com/ だけの URL入力だけで済むように設定変更しました。

変更内容

apache のドキュメントルート/usr/local/www/data から /usr/home/hkita/public_html にシンボリックリンクを張りました。
```
# mv /usr/local/www/data /usr/local/www/data#
# ln -s /usr/home/hkita/public_html /usr/local/www/data
```
こうすることで http://nice.kaze.com/ でアクセスできます。そして、従来の http://nice.kaze.com/~hkita/ でもアクセスできます。