Feml2: Bayesian Spam Filter

概要: Feml2の目的、特徴

• spamである可能性が高いメールを自動判定するフィルター。
• sendmailなどのMTA (Mail Transfer Agent) から、.forward経由で呼び出す。
• spamと判定したメールは廃棄 (実際には隔離して保存しておき定期的に削除) し、それ以外を/var/mail/<user>に追記する。
• ホワイト・リストを設定できる。これに合致したメールは、内容にかかわらずspamとは判断しない。
• ブラック・リストを設定できる。これに合致したメールは、内容にかかわらずspamとして扱う。
• 日付の妥当性、文字コード (符号化方式) なども判断基準とする。
• 判定に到る経過をログに出力する。

ダウンロード

feml-2.0.1.tar.bz2

インストール、設定

1. 準備: ruby-2.Xが必要。
2. 準備: 日本語の単語切り出し (分かち書き) のため、MeCab (和布蕪) が必要。
3. mecabの辞書はEUC-JPでもよいが、例えばNEologdを取り込んで分析精度を改善しようとするならばUTF-8にする必要がある。
4. feml2.rbを/usr/local/binなど適当なディレクトリーに置く。
5. 必要に応じ、feml2.rbの先頭部分にあるハッシュAmConfの値を書き換える。
   • AmConf['Base']: 各種の関連ファイルを置くディレクトリー。ホーム・ディレクトリーが/usr/home/<user>であれば、おそらくこのままで問題なく動作する。
   • AmConf['SpamCharsets']: ここに列挙されている符号化方式が用いられていればスパムと看做す。中国語、ロシア語などのメールを日常的にやりとりしている人は書き直す必要があるだろう。
6. AmConfを直接書き換える代わりに、feml2.rbと同じディレクトリーにfeml_config.rbというファイルを置き、そこに記述してもよい (参考: feml_config.rb.in)。

開発に用いている環境: FreeBSD-10.0、sendmail-8.15.1、ruby-2.2.2、mecab-0.996、mecab-ipadic-2.7.0。

実行 (1): spam判定、隔離

"| exec /usr/local/bin/feml2.rb -u tac || exit 75 ## tac@example.co.jp"

1. 例のように、feml2.rbの呼び出しを、ホーム・ディレクトリーの.forwardに記述する。-uにはユーザー名を指定する。
2. .forwardにはコンマ (,) 区切りで複数の呼び出しを記述できるので、procmailなどを並べて呼び出し、転送やバックアップ保存をしてもよい。但し、このprocmailがメールを/var/mail/<user>に出力するようになっていると、feml2.rbが出力したものと重複してしまうことになる。
3. この段階ではまだspam判定のための学習をしていないので、すべてspamではないと判断される。届いたメールは/var/mail/<user>に追記され、POPで接続するなどの方法で読むことができる。
4. 届いたメールは${HOME}/Feml2/backup以下にも保存されている。さらに、spamではない (clean) と判定したので、${HOME}/Feml2/clean以下にも保存される。ファイル名から受信日時が分かる。ファイル名末尾の数字はプロセス番号で、1秒以内に2通以上届いても重複しないようにするために付けてある。
5. ${HOME}/Feml2/conf/feml_store.pstoreというファイルができている。これは字句データベースで、字句ごとの出現数 (clean / spam) を記録する。

実行 (2): 学習

$ feml2.rb --add-spam-sub-clean *.txt

1. spamがcleanと判定されてしまった場合、--add-spam-sub-cleanオプション付きでfeml2.rbを呼び出し、字句データベースを更新する。
2. hourly.localに例示したようなスクリプトを、cronにより定期的に起動するようにしておくと便利。${HOME}/Feml2/cleanに保存されているメールのうち、実際にはspamであるものを${HOME}/Feml2/addspamに移動すればよい。あるいは、メール・リーダー上でspamメールをまとめて選択し、Unix mbox形式で${HOME}/Feml2/addspam以下にエクスポートしてもよい (使い始めてしばらくするとこの方法が便利になる)。

定期処理: hourly.local

例として示したhourly.localでは次のような処理をしている。

• バックアップ保存されたメール・ファイルのうち、所定の日数が経過したものを削除。
• 判定結果ごとに振り分けて保存してあるメール・ファイルについても、所定の日数が経過したものを削除。
• 誤判定されたメール・ファイルが所定のディレクトリーにあれば再学習。

ホワイト・リスト

• ${HOME}/Feml2/conf/from_white_list.txt、${HOME}/Feml2/conf/ufrom_white_list.txtにメール・アドレスを記述しておくと、「From:」ヘッダーまたはUnix From行に記述されているメール・アドレスがこれに合致したとき、内容にかかわらずspamではないと判定する。
• メール・ヘッダーの先頭に現れる「Received:」ヘッダーが、${HOME}/Feml2/conf/received_white_list.txtのいずれかの行に合致したときも、内容にかかわらずspamではないと判定する。
• 「Subject:」ヘッダーが、${HOME}/Feml2/conf/subject_white_list.txtのいずれかの行に合致したときも、内容にかかわらずspamではないと判定する。
• 正規表現でも記述できる (但し「%r」記法は不可)。なお、「#」で始まる行は註釈である。

## from_white_list.txt
/@(ja|us)\.example\.com$/
@example.co.jp
info@japan.example.com

## received_white_list.txt
from mail.example.co.jp (localhost [127.0.0.1])
from localhost (localhost)
from localhost (localhost [127.0.0.1])

ブラック・リスト

• /etc/mail/accessを使って特定のアドレスからのメールを遮断する方法もあるが、Feml2のブラック・リストを用いれば、そこに使われている字句を解析して字句データベースを更新できる、という効果がある。
• ${HOME}/Feml2/conf/from_black_list.txt、${HOME}/Feml/conf/ufrom_black_list.txtにメール・アドレスを記述しておくと、「From:」ヘッダーまたはUnix From行に記述されているメール・アドレスがこれに合致したとき、内容にかかわらずspamであると判定する。
• メール・ヘッダーの先頭に現れる「Received:」ヘッダーが、${HOME}/Feml2/conf/received_black_list.txtのいずれかの行に合致したときも、内容にかかわらずspamであると判定する。
• 「Subject:」ヘッダーが、${HOME}/Feml2/conf/subject_black_list.txtのいずれかの行に合致したときも、内容にかかわらずspamであると判定する。
• 正規表現でも記述できる (但し「%r」記法は不可)。なお、「#」で始まる行は註釈である。

ログ・ファイル

• ${HOME}/Feml2/feml_log.txtに、判定に到る経過が出力されている。
• /etc/newsyslog.confを使うなどして定期的にファイルを入れ替えるとよい。

  /usr/home/tac/Feml2/feml_log.txt   tac:user   644 5 * @T00  - 

• ログの内容: メール・テキストのデコード結果、そこから抽出した字句とその出現数およびspam確率、計算過程、判定結果。

feml2.rb

spam判定、隔離

feml2.rb [ -f | --spam-filter ] [ -u <user> | --user <user>]

• 電子メール・メッセージを標準入力から受け取り、spam判定する。
• spamではないと判定したメールは、/var/mail/<user>に追記する。
• -fは省略可。

学習

feml2.rb [ -s | --add-spam-sub-clean ] files...

• 電子メール・メッセージをspamであるとして学習する。
• 複数の電子メール・メッセージをUnix Mbox形式で区切った形式のファイルであってもよい。

feml2.rb [ -c | --add-clean-sub-spam ] files...

• 電子メール・メッセージをcleanであるとして学習する。
• 複数の電子メール・メッセージをUnix Mbox形式で区切った形式のファイルであってもよい。

その他

feml2.rb [ -e | --export-token-db ] token_db.txt

• 字句データベースの内容を出力する。
• 書式: <clean出現数> : <spam出現数> : <更新(修正ユリウス)日> : <字句>

feml2.rb [ -i | --import-token-db ] token_db.txt

• 字句データベースにデータを取り込む。

feml2.rb --reduce-token-db

• 字句データベース中、出現頻度が低く、長期間更新されていないものを削除する。

feml2.rb [ -v | --version ]

• 版番号を表示する。

履歴

• 2015-06-20: feml-2.0.1。
• 2015-04-18: feml-2.0.0。
  • 字句データベースは旧版との互換性がない。引き継ぎたい場合は、(1) 旧版でエクスポートし、(2) EUC-JP→UTF-8の変換を施し、(3) 更新日 (第3欄) を適宜書き替えて、(4) 新版でインポートする。
• 2011-08-17: feml-1.0.8。
• 2009-07-17: feml-1.0.0。
• 2009-06-16: feml-0.5.0。
• 2009-04-27: feml-0.4.0。
• 2009-04-11: feml-0.3.0。
• 2009-04-05: feml-0.2.0。

Copyright © 2009, 2015 KOYAMA Hiro <tac@amris.co.jp>