anchor
スパムメールフィルターアプリのSpamSieveがスパムメールをブロックしなくなった〜原因不明で現在も対策模索中
スパムメールを学習して判別し、メールアプリでスパムフォルダーに自動的に振り分けができるSpamSieveが便利だったのだが、先月から突然動かなくなった。
自宅に立てたスパムメールフィルターサーバがスパムに反応しなくなって、iPhoneとかのメールにもどんどんスパムが来るようになったので確認したところ、メイン機のMacBook ProのメールでもSpamSieveが動かなくなっていることに気がついた。
これがないとiPhoneを開くたびにスパムメールを削除するところから始めないといけないので、とても不便、バッテリーの無駄。
それでこの何週間かいろいろ切り分けていたのだが、バージョンアップのタイミングにこうなったのかと思ったが、考えたらメールフィルタサーバーのGyazMailもSpamSieveも古いバージョンのままだった。
GyazMailのマニュアルに「SpamSieveが動かない場合の対応法」が書いてあるのでその手順を試してみる
アプリケーションフォルダーからSpamSieveを削除する
その状態でMacをOSごと再起動
GyazMailを起動する前にSpamSieveをインストールしなおす
GyazMailの設定でスパムフィルターにSpamSieveを設定し直して起動
結果的にこの対応法では改善しなかった
マニュアルにもSpamSieveが連動して起動しなくなった場合とあるので
動いているけど機能しないという今回のケースとは違うのかもしれない
それでスパムの検知リストのコーパスが限界行数に
達しているのかと思い減らしてみたが効果なし
コーパスを一度初期化して一から学習しなおしさせることにした
とりあえず一万のメッセージ・百万の要素が登録されていたが
学習し直してコーパスの行数は10分の1に
ブロックリストも数千行あったが二百行にコンパクト化
しかしやはりスパムはスルーされていた
数ヶ月ほったらかしにしていたMac miniのアカウントでも同じ現象が起きていた
つまりバージョンアップ時の不具合や、コーパスのオーバーロードが原因ではなく
フィルターの設定も前のままなのに同じ障害が起きているので原因は全く不明
結局原因は分からず。
MacBook Pro、スパムメールフィルターサーバー、Mac miniで同じ現象が起きており、それぞれのバージョンはバラバラなので特定のバージョンの不具合ではない。
コーパスを共有していないMac miniでも同時に問題が起きたのでコーパスの問題でもない…設定も関係ない…となるとあとは思い当たる原因はスパム業者がSpamSieve対策を講じてスパムフィルターに引っかからないスパムの出し方に変えてきたかということしかないか…
しかし「スパム業者が一斉に対策した(?)」なんてことがありうるだろうか。
結局原因は藪の中だ。
しかもググってもSpamSieveが動かなくなったというエントリを書いている人は誰もいないようなので、この問題はうちだけで起きているのかもしれない。
同じ問題を解決したという方がおられたら情報をいただけるとありがたい。
私の方はほぼお手上げ状態だ。
2018年12月2日
anchor
先日来スパムを刎ねなくなったSpamSieveの件だが原因がほぼ分かった〜要するにヤフーメールなんかいつまでも使ってんじゃねぇという結論
うまくいかなかった結果を書くにはすごく消耗感があるというか、しんどいのでできるだけ手短に書く。
先日の記事以来ずっといろいろ切り分けをしてきて結構な激闘だったのだが結論から言えばヤフークソ、ソフトバンククソということにたどり着いた。
スパムメールフィルターアプリのSpamSieveがスパムメールをブロックしなくなった〜原因不明で現在も対策模索中
問題のSpamSieveがスパムメールを刎ねなくなった件はYahooメールでのみ起こっている。
SpamSieveのフォーラムやネットでいくら探しても該当の話題が拾えないのもそのはずで、発生条件がGyazMailをクライアントにしてYahooメールをSpamSieveでフィルタリングしている…という非常に少数の人しか該当しないような条件でのみ発生するようだ。
同じGyazMailでSpamSieveを使っていてもGmailなら問題ない。
結局YahooメールのIMAPのプロトコルが少し変更になったようで、GyazMailでは遠隔からゴミ箱移動、削除などができなくなった。
この現象はGyazMailでのみ起きていて、AppleMailなどでは起きない。
要はGyazMailとYahooメールの組み合わせが発生条件になるようだ。
GyazMailでスパムや不要なメッセージをゴミ箱に移動しようとしても
「IMAPプロトコルエラー」という表示を出してコピーを作るだけで削除できない
この状態になるとゴミ箱と受信箱の両方に削除できないファイルを作って無間地獄に落ちる
この現象はYahooメールのみで起きる…Gmailなどでは発生しない
当然メールフィルターサーバーのSpamSieveがスパムを検知してもスパムを除外はしてくれなくなる。
要はYahooがまた例によってIMAPの標準規格に違反するような仕様変更をしたということが原因らしい。
Yahooに問い合わせをするのは時間とリソースの無駄遣いだろうなぁ…
過去にもいくつかネット接続の件やルータの件などでヤフー、ソフバンには問い合わせをしたことがあるが、TCP/IPエラーにも「Macをお使いだからでは?Windowsをお試しください」の一点張りとか(実話、TCP/IPにMacもWindowsもない)、接続障害もログを取らせて数ヶ月かけて調査して結局「異常はありません」の木で鼻をくくったような回答(これも実話、何を調査したのかという説明は一切なし)
ソフトバンクのiPhoneは途中で帯域についての規約を勝手に変更して数ヶ月間ずっと帯域制限がかかったままになって、移動中は地図すら表示できなくなる(これまた実話、もちろんこのことについての説明はなし)など、もうこの会社には何を期待しても無駄だとすっかり思うようになった。
せめてGyazMailの作者さんがYahooメールに対応してくれればいいのだが、そんなローカルルールにいちいち付きあってはくれないだろうなぁ…
ということで結論は「Yahooメールなんか使うな」というもう十数年前から言われているようなはなしでした。
うまくいかなかったはなしを書くのは本っ当に脱力する。
2018年12月8日
anchor
SpamSieveによるスパムフィルタリングの復活に成功した〜しかしYahooメールに関しては若干本末転倒のような方法だが…
先日来、SpamSieveとGyazMail、Yahooメールの組み合わせでスパムメールのフィルタリングができなくなった問題を解決した。
結局以下の手順でなんとかなった。
GyazMailのYahooメールがYahooのサービスのバグのためメールの削除をGyazMailからできなくなった。
なのでGyazMailの削除できなくなって重複したメールを削除してまずGyazMailをリセットすることから始めた。
1)Time MachineでGyazMailのメールフォルダを症状が起きる前の時点に戻した
2)これで解決するかと期待したが、Yahooメールが全メッセージを再ダウンロードしてすべてのメールが重複してしまった
ただしSpamSieveでフィルタリングされたスパムメールはゴミ箱あるいは任意のフォルダに移動できるようになった。正確には移動ではなくコピーだったが…
3)以前もゴミ箱や任意のフォルダがYahooのサーバー内のフォルダの内容と不整合になるとこの移動がすべてコピーになってしまう現象が起きていたのでGyazMailのゴミ箱やJunkフォルダなどの中身を一度全部削除した
方法は~/Application Support/GyazMail/IMAPAcountの中のFolder1〜9のファイルを移動してどれがどのフォルダか一つずつ検証しながら削除する
4)これで重複は解除されるがGyazMailでゴミ箱に移動したメッセージを削除しようとしたらまた重複が起きる
しかしSpamSieveでスパムメールを別フォルダに選り分けることはできるようになったので次善の策で対応することにした
GyazMailのメッセージフォルダをすべて問題が起きる前の状態に戻した
方法はTime Machineで~/Library/Application Support/GyazMailの
フォルダの中身を発生前の日付の状態に復元する
当然差分のメールの受信が始まるがなぜかYahooメールのアカウントでは
すでにダウンロード済みのメッセージもダブって受信し七千以上のメールが重複してしまう
これをゴミ箱に移動して削除してもやはりIMAPプロトコルエラーの警告が出て削除できない
仕方なくWebでYahooメールにログインしてそこで削除すると
GyazMailのゴミ箱に削除済みマークの付いた削除できないファイルが残ってしまう
このファイルはどこからも削除できないので~/Library/Application Support/GyazMailの中の
IMAPAcountの中でどれがここに該当するのかフォルダを移動して確認して中身を削除する
フォルダには「folder0, folder1, folder2…」という感じで数字しか
振られていないのでどれがゴミ箱かは中身を移動しながら確認する
こうしてゴミ箱フォルダの中の消えないファイルを削除するが…
GyazMailを起動して受信をするとまた消えないファイルが復活してしまう
つまりこの消えないファイルの実態はMacのローカルフォルダの中ではなく
Yahooのサーバー内に存在するということだ
どうやら削除済みの不可視ファイルがGyazMailからは
見えてしまうという仕様にYahooサーバーが変更されたようだ(怒)
削除できないファイルを削除するのは諦めて移動先をBulk Mailフォルダに
変更してiPhoneなどの別のデバイスで削除することにした
結局YahooメールサーバーとGyazMailのプロトコル不一致によってGyazMailでスパムを削除することはできなくなったが、受信フォルダとは別のフォルダに選り分けることは可能になったので、これまで通り自宅Webサーバーにスパムメールフィルタリングサーバーを兼任させSpamSieveでBulkやJunkなどの別フォルダにより分けることにした。
Bulkに振り分けられたスパムメールは、GyazMailからは削除することができない。
しかしいちいちWebでメールにログインするのも面倒なので、iPhoneで削除することにした。
これでスパムメールフィルターの復活である。
あれっ?なんか変だぞ??
そう、だいたいそもそもこのSpamSieveのスパムフィルタリングをなぜ始めたかというと、iPhoneでメールを開くたびに大量のスパムをいちいち削除しないといけないのが煩わしいし、バッテリーの無駄だから始めたはずだ。
なのに結局iPhoneからでないとスパムの削除ができないって、本末転倒…というかiPhoneの手間削減のための対策で始めたスパムフィルタリングの補助のためにiPhoneでスパムを削除…とか考え始めたらもう無限ループ。
MacのデフォのMailの使用も考えたが、AppleMailの使い勝手の悪さをまた再認識させられた。
ならばThunderbirdという心強い味方がいるはず…と思ったらSpamSieveはThunderbirdをサポートしていないし…(というかThunderbirdにスパムフィルタープラグインの機能がないことに今時初めて気がついた)
結局最終結論は「Yahooメール使うのやめろ」という前回と同じ結論になってしまう。
そのため重要な認証や大事な連絡先の告知メールをGMailに差し替えているのだが、これがまたなかなかの手間だ。
最後に一言だけ、愚痴を言わせてくれ。
ソンのハゲ!
上場とかで浮かれて携帯の通信障害起こしてないで、メールサーバーぐらいまともに運用しろ!
大変失礼しました…m(_ _)m
2018年12月9日