■苦労したこと其の壱

whoisサーバーの収集

以下の3サイトから収集しました。
http://www.iana.org/root-whois/
http://www.nic.ad.jp/ja/dom/types.html
http://www.cman.jp/network/support/domein_list.html

完全に網羅することはできませんでした・・・(； ´ー`)

■苦労したこと其の弐

※google.comさんを例題として使わせて頂きます（スミマセンスミマセン

socketでwhoisサーバーに繋いだ後、検索ドメインを

としてあげれば基本的には情報が返ってくるのですが、comとかnetなどのドメインは管理している団体が多数に分かれているので、これだけだと簡素な情報しか取得できません┐(´д｀)┌
（com、netはInternicのwhoisサーバーです）

しかし自宅サーバーのwhoisコマンド（jwhois）でgoogle.comを検索するとちゃんと詳細な情報が取得できます。

きっとなにか方法があるに違いない！

とりあえずtelnetで直接whois.internic.netに繋いで文章を見てみると

と書いてあります。

詳しくは分かりませんが、検索ドメインの頭に「=」を付けろ！ということみたいです。

もういちどtelnetでwhois.internic.netに繋いで=google.comとすると今度はgoogle.comに関連するwhoisサーバー一覧がずらずらと出てきました( ´ー`)

で肝心のgoogle.comのwhoisサーバーはその一覧の最後にありました。

ここまでの動きさえ分かってしまえばあとはスクリプトに組み込むだけです！
・whois.internic.netの場合だけ検索ドメインの頭に=を付ける
・結果から一番最後のwhoisサーバーを取得する
・取得したwhoisサーバーへ再度問い合わせをする

なんか疲れた・・・orz

PerlじゃなくてPHPでいいじゃん！って思ったのですが、Perlの方がメールの取り込み関係のモジュールが標準でインスコされてたりするのでなにかと都合がいいのですよ。

Net::SMTP
Net::POP3
MIME::Parser

などが最初からはいっておるのです。

SMTP AUTHだけはAuthen::SASLを追加していれないとダメですけど・・・（ウチはSMTP AUTHしてないから関係ないんですけどね！

その他の機能としてアドレス帳、署名、スパムフィルタとかも組み込みたいな〜

一応私の頭の中では完成してます！（ぉ

っと夢は広がるばかりなのですが、あとは時間とやる気が足りません！・・・orz

■主な機能
・Socketを使用したhttp接続のチェック（SSL非対応です）
・http接続時にGETしたソースの１行目の文字列の判定
・スクリプトの二重起動を防ぐ排他処理
・監視対象を複数設定可能
・エラー通知の宛先を複数設定可能

■設置方法

1.HttpdChkのダウンロード

→ダウンロード

2.HttpdChk.plの設定

————————————————————————
01：#!/usr/bin/perl -w
・
・
・
26：my $ScriptDir = ‘/PathTo/HttpdChk’;
28：my $SendMail = ‘/usr/lib/sendmail’;
30：my $MailFrom = ‘from@example.jp’;
32：my $Subject = ‘httpd alert’;
34：my $MaxCount = 3;
36：my $LockTimeout = 20;
38：my $ConnTimeout = 10;
————————————————————————

01行目：perlのパス
26行目：作業ディレクトリ（HttdpChkディレクトリまでのフルパス）
28行目：sendmailまでのパス
30行目：エラー通知の送信者メールアドレス
32行目：エラー通知の件名
34行目：何回エラーが出たらエラー通知を送信するか
36行目：前回の処理が終わっていない場合の待機時間（秒）
38行目：http接続が成功するまでの待機時間（秒）

3.HttpdChk.confの設定

以下のフォーマットに基づいて記述します。
[Host][:Port][/Path] [Space|Tab] [SendEmail1,2,3...] [Space|Tab] [SuccessfulMessage]

[Host]
監視対象ホスト。
[:Port]
監視対象ホストのポート（指定が無い場合は80で接続）。
[/Path]
監視対象ホストのファイル、ディレクトリ。
[Space|Tab]
設定の区切り（半角スペース若しくはタブ）。
[SendEmail1,2,3...]
エラー通知の送信先メールアドレス（複数指定する場合は「,」で区切る）。
[Space|Tab]
設定の区切り（半角スペース若しくはタブ）。
[SuccessfulMessage]
httpd接続に成功した場合にGETしたソースの1行目の文字列。
主に監視対象ホストのhttp接続以外のチェックに使用します。

例）
監視対象ホストにデータベース接続が正しくできるかチェックするスクリプト（dbcheck.cgi）を設置して
www.example.jp/dbcheck.cgi to@example.jp Database connection successful
と設定。

dbcheck.cgiは接続に成功した場合は
print “Content-Type:text/plain\n\n”;
print “Database connection successful\n”;
を出力
dbcheck.cgiは接続に失敗した場合は
print “Content-Type:text/plain\n\n”;
print “エラーメッセージ\n”;
を出力

※詳しくはHttpdChk.conf記載のサンプルをご覧ください。

4.サーバーに設置
HttpdChk.pl[700]/HttpdChk.conf[644]/HttpdChk.res[644]の入ったHttpdChkディレクトをサーバーに設置します。（※[ ]の数字はパーミッション）

最後にHttpdChk.plをcronに追加して完了です。

で、たどり着いた.htaccessの記述が以下のとおりです。

●<FilesMatch “bbs.*\.cgi$”></FilesMatch>
制限の対象となるスクリプトファイル名を記述します。
「.*」は0文字以上の任意の文字列にマッチした場合という意味です。
「$」は最後から検索してという意味になります。
したがって上記はスクリプトファイル名の文字列を最後から検索してbbs***.cgiにマッチした場合は真という条件になります。

複数のスクリプトファイルを対象とする場合は
<FilesMatch “(hoge|hogehoge|hogehogehoge)\.(cgi|php)$”></FilesMatch>
というように指定することもできます。

●<Limit POST></Limit>
POSTのみを制限する指定です。

<Limit GET POST></Limit>
とすればGETとPOSTを制限することができます。

●SetEnvIf Request_URI “/hogehoge$” Accept
レンタル掲示板はPOST時に環境変数PATH_INFOを付与しているのですが、SetEnvIfは環境変数PATH_INFOを参照できないのでREQUEST_URLで代用しています。
したがって上記はREQUEST_URLの文字列を最後から検索して「/hogehoge」にマッチした場合という意味になります。

●Order Deny,Allow
これは拒否をしてから許可するという定義になります。

●Deny from all
一度すべてを拒否するという意味です。

●Allow from env=Accept
これは「SetEnvIf Request_URI “/hogehoge$” Accept」の条件にマッチした場合は許可するという意味です。

●Allow from 192.168.10.0/24
これは単純にLAN内（私用）からのPOSTは許可するという意味です。

●#ALLOW_CIDR_LIST_____#・・・・・#_____ALLOW_CIDR_LIST#
これはこの後解説する国内ホスト一覧の自動取得スクリプト（getApnicCidr2HTA.pl）が国内ホスト一覧（CIDR方式）を記述する場所をスクリプトに示すための記述です。

■上記.htaccessを制限したいディレクトリ配下に設置します。

■次に国内ホスト一覧の自動取得を行うスクリプトを用意します。
> wget http://cmf.ohtanz.com/download/getApnicCidr2HTA.txt
> mv getApnicCidr2HTA.txt getApnicCidr2HTA.pl
> chmod 755 getApnicCidr2HTA.pl

※ちなみにPostfixのcidr_tableを自動更新、FTPに対する不正なアクセスを遮断に次ぐgetApnicCidrシリーズ第3段です。

■ダウンロードしたgetApnicCidr2HTA.plの下記の部分を編集します。

5行目の@HTACCESS_LISTは対象となる.htaccessまでのパスを記述します。

※このスクリプトは.htaccess内の#ALLOW_CIDR_LIST_____#・・・・・#_____ALLOW_CIDR_LIST#の間のみを更新するので、それ以外の個所は自由にカスタマイズしても問題ありません。

■編集が終わったらgetApnicCidr2HTA.plを1度手動で実行します。
> perl getApnicCidr2HTA.pl

※.htaccessを開いて#ALLOW_CIDR_LIST_____#・・・・・#_____ALLOW_CIDR_LIST#間にホスト一覧が記述されていることを確認して下さい。

後はgetApnicCidr2HTA.plをcronに追加して終了です。

実害はないから別にいいんですが、このクソ暑い中そんなログを見てしまうとついついイラッ！っとなってしまうもので、こりゃ〜そろそろちゃんと対策しといたほうが精神衛生上いいんじゃなかろうかと思い、
以前作ったPostfix用のcidr_tableを自動更新するスクリプトをちょこっと改良して、iptablesで21番ポートを国内ホストからのみアクセスできるようにしてみました。

■導入方法
> wget http://cmf.ohtanz.com/download/getApnicCidr2FTP.txt
> mv getApnicCidr2FTP.txt /usr/local/bin/getApnicCidr2FTP.pl
> chmod 700 getApnicCidr2FTP.pl
> vi getApnicCidr2FTP.pl

————————————————————————-
1:#!/usr/bin/perl
8:my @ACPT_LIST = (’127.0.0.1′,’192.168.1.0/24′);
9:my %DROP_LIST = ();
————————————————————————-

1行目：Perlのパス
8行目：LAN内や海外の特定ホスト等からFTPアクセスを許可するためのホスト
9行目：FTP以外でアクセスを拒否したい場合に使用

例：%DROP_LIST = (’192.168.4.1′=>’25′,’192.168.3.0/24′=>’110′);
‘IP（CIDRも可）’=>’ポート’
というように記述していきます。

あとはgetApnicCidr2FTP.plをCRONに追加して終わりです。

それともうひとつpostfixのスパムメール対策についてもコメントがありました。

「regexに対してpostmapは不要ですよ」

Σｒ(‘Д‘ｎ）

PostfixのページQ&Aより
————————–
Postfix は 指定されたテキストファイル (regexp:/etc/postfix/regexp-file と 指定されている場合は /etc/postfix/regexp-file.db ではなく /etc/postfix/regexp-file) を直接読みます。
————————–

いやはやお恥ずかしい限りです。
普通に考えればわかりそうなものなのに、正規表現な評価をするのになんでDBM（DB)化するんだと（ｒｙ

たぶん他のaliasesやvirtualとかをnewaliases（postmap）してた流れでなにも考えずにやっちゃってたんだと思いますorz

どんまいオレ！

それとMonkey Tracksさん曰くpostfixのスパムメール対策を参考に設定した結果Googleからのメールが弾かれてしまったそうで、どの段階で弾かれたのかはわかりませんが、もしsmtpd_client_restrictionsで引っ掛かったのであれば、client_cidrに以下を追加すればGoogleからは受取れるようになると思います。

———————–
#Google network
72.14.192.0/18 OK
64.233.160.0/19 OK
209.85.128.0/17 OK
216.239.32.0/19 OK
66.102.0.0/20 OK
66.249.64.0/19 OK
———————–

ここを見るかはわかりませんが、ご指摘頂いたお礼代わりに。（お礼というほど大したことでもありませんが）

APNICのIPv4 rangesは日々変更されているので、なんとか自動化したいなぁ〜と思っていたのですが、自動化するにはＪＰＮＩＣの管理しているＩＰアドレスを捨てないといけません。
（※ＡＰＮＩＣとＪＰＮＩＣで重複しているものを最後は目視で確認しないとＷａｒｎｉｎｇがでまくって大変なことになるからです。）

そこでＡＰＮＩＣとＪＰＮＩＣそれぞれが管理している日本のＩＰアドレスはどのくらいあるのかざっと見てみたところ、9割以上は重複していたので、この際だからＪＰＮＩＣは捨てよう！と決めたわけです。

最初に私が作成したipv4Jp.zipに同封されているclient_cidrはＡＰＮＩＣとＪＰＮＩＣをまとめたものなのですが、ＡＰＮＩＣのみで作成したものとの差があまり無かったのです。

東京大学のＩＰはＪＰＮＩＣのみでしか管理されていないようですが、client_cidrの定義はＲＥＪＥＣＴではなくＯＫなので仮に漏れたホストがあっても、逆引き設定等が正しく行われていれば無問題な訳で、且つ450で再送要求しているのでまぁ〜大丈夫なんじゃなかろうかという自宅サーバーならではの強気設定です(゜Д゜)

すでに導入して2週間経っているので大丈夫でしょう！・・・たぶん・・・(゜Д゜)

で、自動更新するにあたって、私は今までaccessテーブルを更新したら毎回Postfixをreloadしていたのですが、Postfix 検索テーブルの概要を読むと、reloadすべきなのかそうでないのかが、どうもはっきりしません。

で、試しに書いてあるとおり
> postmap access.in
> mv access.in.db access.db
を実行してみたらmaillogに大量のWarningがでましたよ！？(゜Д゜;)

（postmapのマニュアルより引用）
——————————————————————————
テーブルの更新中は、シグナル配送は遅延され、検索に来たプログラムを驚 か
せないために、排他的 Advisory ロックがテーブル全体にかけられます。
——————————————————————————

ということなので、cidr_tableの自動更新スクリプトはclient_cidrのバックアップをとってそのまま上書きしてpotmapを実行しています。

cidr_tableの自動更新をしてみたいという方は既にPostfixのスパムメール対策(排除率は99.975%だった)の方も更新しているので、一度読んでみてください。

日本語のスパムメールもほとんどが中国、韓国だったりします。恐らく国内から来るスパムメールは全体の1%に満たないと思います。

そこでsmtpd_client_restrictions部分にcidr_tableを追加して、国内のIPだった場合は以降のsmtpd_client_restrictionsの評価はパスして、海外のIPだった場合のみ以降のsmtpd_client_restrictionsの評価を継続するという手法を取り入れてみることにしました。

現在のmain.cfの主な設定は以下のとおりです。

#strict_rfc821_envelopes = yes
disable_vrfy_command = yes

smtpd_client_restrictions =
  permit_mynetworks
  check_client_access btree:/etc/mail/dracd
  check_client_access cidr:/etc/postfix/client_cidr
  reject_unknown_client
  check_client_access regexp:/etc/postfix/client_restrictions
  reject_unlisted_recipient
  reject_unauth_destination

smtpd_helo_required = yes

smtpd_sender_restrictions =
  permit_mynetworks
  check_sender_access regexp:/etc/postfix/sender_restrictions
  reject_unknown_sender_domain
  reject_non_fqdn_sender
  reject_unverified_sender

#smtpd_helo_restrictions =
#  permit_mynetworks
#  reject_invalid_hostname
#  reject_non_fqdn_hostname
#  reject_unknown_hostname

smtpd_recipient_restrictions =
  permit_mynetworks
  check_client_access btree:/etc/mail/dracd
  reject_unauth_destination

check_client_access cidr:/etc/postfix/client_cidr部分がcidr_tableによるフィルタリングです。

予めclient_cidrを/etc/postfixに移動してpostmap /etc/postfix/client_cidrを実行しておきます。

またRFCで必須としていない逆引き設定ですが、今回海外のIPに限定できるので、reject_unknown_clientも追加しました。

それと非スパムなメールにエンベロープ内のフォーマット間違いが意外と多いので、strict_rfc821_envelopesとsmtpd_helo_restrictionsはコメントしました。

smtpd_client_restrictions部分について流れを説明すると、

permit_mynetworks#自ホストからの接続はOK
check_client_access btree:/etc/mail/dracd#pop before smtpで認証済みホストからの接続はOK
check_client_access cidr:/etc/postfix/client_cidr#国内からの接続はOK
———ここまででOKなら以下は評価しない——–
以下省略

という条件になります。

smtpd_sender_restrictions、smtpd_recipient_restrictions等は別途評価されます。

今回のフィルタリングの特徴は国内からの接続には優しく海外からの接続には厳しくってところでしょうか、言い換えるなら国内からのスパムが多いサーバーでは返って逆効果だということです。

また私が作成した国内のIPを集めたclient_cidrですが、正直すべての国内のIPを網羅しているのかわかりませんし海外のIPが混ざっているかもしれません、ただclient_cidrはマッチしたIPをOKとしているだけなので、仮に国内のIPが欠如していてもcheck_client_access cidr:/etc/postfix/client_cidr以下の評価対象となるだけですので、差ほどリスキーな状況になることはありません。（海外のIPならその逆になるだけ）

それとこれを導入するにあたり本格的に統計をとってみようと思い、WEB上から確認できるツールを作成しました。

↑はmaillogとprocmailのログを日毎に集計しているものです。1時間おきに更新しています。

上段がpostfixでのフィルタリングを通過したメールをprocmailのログから非スパムなメール数、スパム判定（bsfilterとDNSBL、URLBL）されたメール数を表示しています。
中段がpostfixでREJECTされたメールの一覧を表示しています。
下段がREJECTの内容毎の集計を表示しています。

ちなみに今日21：00現在の統計を見てみると、
現在までにREJECTした総数は833
逆引きできないIPによるREJECTが225
S25R（改）によるREJECTが188
宛先不明によるREJECTが185
FROMのアドレスの不正によるREJECTが142
FROMのドメインが不正によるREJECTが51
FROMのアドレスが存在しないことによるREJECTが21
その他のREJECTが21（設定変更後に私自身がオープンリレーテストを行った結果）

配送されたメールの総数が15
非スパム判定が7
bsfilter、DNSBL、URLBLによるスパム判定が8

いずれも誤判定は0

配送された8通のスパムはすべてが国内から送られたものです。
最初にほとんど国内からのスパムは来ないと書きましたが、唯一仕事で使用しているwebmasterメール（いわゆる同胞メール）宛てに送られてきたスパムが転送されてきたものなのです。（ヘッダーを見るとこれらも元は海外から発送されています。）

総数833から宛先不明185、その他21を差し引いて、配送されたスパム8を足した数が635、これを単純に計算するとPostfixのみのREJECT率は約98.5%、リトライによる再送もあるので実数はもう少し低いかもしれませんが実用レベルに十分達している感じです。

これで1ヶ月間の統計をとったら、postfixのスパムメール対策を更新しようと思います。
（↑の統計ツールもいっしょにアップする予定です。）

1ヵ月後が楽しみです：）

国内のＩＰの場合はsmtpd_client_restrictions部分では無条件にOKにしてその他は従来のスパムフィルターを通すといった試みをしてみようかと思ったわけです。

で、作成したのがコレです。

↑には6つのスクリプトが入っています。

getApnicipv4.plはApnicに登録されている各国毎のIPを拾ってきます。

> perl getApnicipv4 jp > apnicJp.lst

のように実行すると日本のIP一覧をwgetしてきてapnicJp.lstに標準出力します。

中国のIP一覧なら

> perl getApnicipv4 cn > apnicCn.lst

といった感じ。

getJpnicipv4.plはJPNICが管理しているIP一覧を取ってきます。

> perl getJpnicipv4.pl > jpnic.lst

といった感じ。

で、makeCidr.plが↑で取ってきたIP一覧からCIDRを生成するスクリプト。

> perl makeCidr.pl < apnicJp.lst > cidr.tmp
> perl makeCidr.pl < jpnic.lst >> cidr.tmp

といった感じ。

> echo ’192.168.0.0-192.168.255.255′ | perl makeCidr.pl

というように単体でも使用できます。

dupRemove.plはmakeCidr.plで作成した一覧から重複しているものを削除するためのスクリプト。

> perl dupRemove.pl < cidr.tmp > cidr.lst

という感じ。

clientCidr.plですが、これはPostfixのsmtpd_client_restrictionsで使用するためのcidr_tableを生成するためのスクリプト

> perl clientCidr.pl OK < cidr.lst > client_cidr

といった感じ。
引数（OK）はRESULTを指定します。

拒否するならば

> perl clientCidr.pl REJECT < cidr.lst > client_cidr

といった感じ。

dupCheck.plはclientCidr.plで作成した一覧から重複しているものを標準出力します。

> perl dupCheck.pl < client_cidr

最後はこれで目視して重複したものを削除してやる必要があります。

添付されているclient_cidrは私が上記を実行して作成したcidr_tableです。

まだアドレスの範囲的に重複しているものが多数ありますが、キリがないので放置です：）