From stefan@hegner-online.de Wed Jan 21 09:43:11 2004 From: Stefan Ulrich Hegner To: linux@lug-owl.de Subject: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 09:43:10 +0100 Message-ID: <1074674589.17642.12.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============4967346908826074122==" --===============4967346908826074122== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit Moin, also mir gerät das Spam-Problem mal wieder aus den Fugen. Es scheint mir die Spammer haben effiziente Wege um SA herum gefunden. Ich habe die "Schwellen" für SA vor 2 Tagen gesenkt, damit der weniger Spam durchlässt. ab 2.5 Punkten Spam Info ab 3.5 Punkten Spam detected ab 5.0 Punkten Spam evasive action (die Schwellen waren vorher ca. 1- 1.5 Punkte höher). Trotz dieser Maßnahme (und einem seit ca. einem Jahr immer fleißig gefütterten Bayes Filter, sieht meine Statistik der letzten 24h ziemlich bescheiden aus: von ca. 65 Spams hat SA 32 in Quarantäne befördert 6 mit Spam detected gekennzeichnet ... und den Rest so "durchgewunken". ... Das gefällt mir überhaupt nicht mehr. - Zumal da auch so nette Subject Header wie CHeap PIlls Viagr@, ValX(u)m, X(a)n@x, Many M3ds Phentermine T2QGQpO3lo dabei waren (hoffe das wird auf die Liste durchgelassen ...). Frage an Euch: 1. Habt' Ihr auch einen extreme Spam-Zunahme seit etwa November beobachtet? 2. Watt macht Ihr dagegen? 3. Wie habt Ihr die Schwellwerte für SA eingestellt? - Bin ich da noch "zu hoch"? (aber vor 'nen Jahr war Spam detected noch bei 7.5 ... und das war völlig ausreichend.) 4. Wenn ich entsprechend schärfer filtere, steigt das Risiko von "false positives". - Aber der Aufwand immer "manuell" danach zu suchen ist auch recht hoch. - Wie macht Ihr das am effizientesten? Gruß Stefan. -- / Stefan Ulrich Hegner aka "Hegi" - Loehne/ Westfalen - Germany \ | stefan@hegner-online.de, my Cyberhome http://www.hegner-web.de| \ GPG-Fprint D9DB 51BD 2DA6 9B3A 41CB 0287 05A1 8D11 38BA CE91 / --===============4967346908826074122== Content-Type: application/pgp-signature Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="signature.asc" MIME-Version: 1.0 LS0tLS1CRUdJTiBQR1AgU0lHTkFUVVJFLS0tLS0KVmVyc2lvbjogR251UEcgdjEuMi4zIChHTlUv TGludXgpCgppRDhEQlFCQURqdWRCYUdORVRpNnpwRVJBbnBOQUo0dDlacXZJT21rMUp6b0RhdGZ0 VWpJekJ4TFh3Q2VOZnNkCmhRZFcwNHg0RWNSL0NPSkVWL1Y1bjVvPQo9NTBMeAotLS0tLUVORCBQ R1AgU0lHTkFUVVJFLS0tLS0K --===============4967346908826074122==-- From markus@wiesecke.de Wed Jan 21 09:55:11 2004 From: Markus Wiesecke To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 09:55:06 +0100 Message-ID: <1074675306.627.7.camel@localhost> In-Reply-To: <1074674589.17642.12.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============8941059485051236827==" --===============8941059485051236827== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: quoted-printable Hallo Stefan, hallo Liste, On Wed, 2004-01-21 at 09:43, Stefan Ulrich Hegner wrote: > Moin, >=20 > also mir ger=C3=A4t das Spam-Problem mal wieder aus den Fugen. >=20 [..] > Frage an Euch: > 1. Habt' Ihr auch einen extreme Spam-Zunahme seit etwa November > beobachtet? Ja, und auch das immer mehr durch den Spam Assessin durchf=C3=A4llt, es leider auch relativ wichtige nicht-Spam-Mail mit =C3=BCber 4 Punkten gibt.... > 2. Watt macht Ihr dagegen? Was ganz interessant ist: Ich habe mehere Email-Adressen, davon steht aber nur eine im Klartext auf einer Webseite, =C3=BCber diese ist eine massive Zunahme zu verzeichnen. Der rest stehlt "kodiert" in "wiesec&= #107;e@uni-bielef= 01;ld.de Einfach, scheint aber zu helfen.. > 3. Wie habt Ihr die Schwellwerte f=C3=BCr SA eingestellt? - Bin ich da noch > "zu hoch"? (aber vor 'nen Jahr war Spam detected noch bei 7.5 ... und > das war v=C3=B6llig ausreichend.) > 4. Wenn ich entsprechend sch=C3=A4rfer filtere, steigt das Risiko von "false > positives". - Aber der Aufwand immer "manuell" danach zu suchen ist auch > recht hoch. - Wie macht Ihr das am effizientesten? >=20 > Gru=C3=9F >=20 > Stefan. Gru=C3=9F Markus --===============8941059485051236827==-- From uwe@schuerkamp.de Wed Jan 21 10:04:32 2004 From: Uwe Schuerkamp To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 10:04:32 +0100 Message-ID: <20040121090432.GI16029@nionex.net> In-Reply-To: <1074674589.17642.12.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============1577869947528027743==" --===============1577869947528027743== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 7bit Hallo Stefan! On Wed, Jan 21, 2004 at 09:43:10AM +0100, Stefan Ulrich Hegner wrote: > Frage an Euch: > 1. Habt' Ihr auch einen extreme Spam-Zunahme seit etwa November > beobachtet? Jo, allerdings. > 2. Watt macht Ihr dagegen? Ich nutze seitdem bogofilter und bekomme so im Schnitt vielleicht noch eine Spammail die Woche, der Rest wird erkannt und scheinbar korrekt "behandelt" (und noch wichtiger: keine false positives). Gruss & viel Glueck, uwe -- Uwe Schuerkamp, Nionex GmbH http://www.nionex.com/ Uwe.Schuerkamp@nionex.net FON: +49 (0)5241 / 80 10 66, FAX: / 806 23 38 GnuPG KeyID: 5887047D Avenwedder Str. 55, 33311 Guetersloh GnuPG Fingerprint: 2E 13 20 22 9A 3F 63 7F 67 6F E9 B1 A8 36 A4 61 --===============1577869947528027743==-- From goecke@upb.de Wed Jan 21 10:07:45 2004 From: Johannes Goecke To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 10:07:37 +0100 Message-ID: <20040121090737.GA29669@localhost> In-Reply-To: <1074674589.17642.12.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============7274708602445258665==" --===============7274708602445258665== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit On Wed, Jan 21, 2004 at 09:43:10AM +0100, Stefan Ulrich Hegner wrote: > Moin, > > > CHeap PIlls Viagr@, ValX(u)m, X(a)n@x, Many M3ds Phentermine T2QGQpO3lo > die kenne ich auch >:( > dabei waren (hoffe das wird auf die Liste durchgelassen ...). > > Frage an Euch: > 1. Habt' Ihr auch einen extreme Spam-Zunahme seit etwa November > beobachtet? nicht genau gezählt aber mir kommt es so vor > 2. Watt macht Ihr dagegen? SA + Razor (Black Lists) > 3. Wie habt Ihr die Schwellwerte für SA eingestellt? - Bin ich da noch > "zu hoch"? (aber vor 'nen Jahr war Spam detected noch bei 7.5 ... und > das war völlig ausreichend.) - Whitelist wo ich quasi alle bekannten Absender eintrage - eigene "scores" fuer die unterschiedlichen tests (siehe attachment) > 4. Wenn ich entsprechend schärfer filtere, steigt das Risiko von "false > positives". - Aber der Aufwand immer "manuell" danach zu suchen ist auch > recht hoch. - Wie macht Ihr das am effizientesten? siehe Attachment: ich versuche die score von den Tests zu justieren. was ich aber beobachtet habe, dass viele Spam versuchen die Bayes- Filter zu bombardieren, in dem im plain-Text teil und am Ende vom HTML-Teil der Spam wahllos harmlose Wörter auftauche, was die Effizienz von Bayes deutlich senken soll. Im Moment hoffe ich, dass die Zuhilfename von Blacklists zu SA diese Mails besser aussortieren kann. > > Gruß > > Stefan. > nicht der Weisheit letzter schluss, aber bei mir praktikabel. Gruß Johannes --===============7274708602445258665== Content-Type: text/plain Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="sa-user_prefs.txt" MIME-Version: 1.0 IyBTcGFtQXNzYXNzaW4gdXNlciBwcmVmZXJlbmNlcyBmaWxlLiAgU2VlICdwZXJsZG9jIE1haWw6 OlNwYW1Bc3Nhc3Npbjo6Q29uZicKIyBmb3IgZGV0YWlscyBvZiB3aGF0IGNhbiBiZSB0d2Vha2Vk LgojIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMj IyMjIyMjIyMjIyMjIyMjIyMjIyMKCiNoZWFkZXIgSkdfSEVBREVSX1RSQUNLSU5HCiMga2VpbmUg QWhudW5nIG9iIGRhcyBpcmdlbmR3aWUgaGlsZnQgKGJ6dy4gYXVjaCBrb3JyZWt0IGlzdCkKIyBp Y2ggaG9mZmUgaGllcm1pdCB3aXJkIGRpZSBFeGlzdGVueiB2b24gZm9sZ2VuZGVuIEhlYWRlciAK IyBtaXQgMiBCZXN0cmFmdApoZWFkZXIgSkdfSEVBREVSX1RSQUNLSU5HX0EgZXhpc3RzOkFCQy1U cmFja2luZwpoZWFkZXIgSkdfSEVBREVSX1RSQUNLSU5HX0IgZXhpc3RzOkFidXNlMi1UcmFja2lu ZwpoZWFkZXIgSkdfSEVBREVSX1RSQUNLSU5HX0MgZXhpc3RzOkFidXNlLVRyYWNraW5nCmhlYWRl ciBKR19IRUFERVJfVFJBQ0tJTkdfRCBleGlzdHM6QklDLVRyYWNraW5nCmhlYWRlciBKR19IRUFE RVJfVFJBQ0tJTkdfRSBleGlzdHM6RWgtVHJhY2tpbmcKaGVhZGVyIEpHX0hFQURFUl9UUkFDS0lO R19GIGV4aXN0czpOZXgtVHJhY2tpbmcKaGVhZGVyIEpHX0hFQURFUl9UUkFDS0lOR19GIGV4aXN0 czpMaWQtVHJhY2tpbmcKaGVhZGVyIEpHX0hFQURFUl9UUkFDS0lOR19HIGV4aXN0czpLZXctVHJh Y2tpbmcKCnNjb3JlIEpHX0hFQURFUl9UUkFDS0lOR19BIDIKc2NvcmUgSkdfSEVBREVSX1RSQUNL SU5HX0IgMgpzY29yZSBKR19IRUFERVJfVFJBQ0tJTkdfQyAyCnNjb3JlIEpHX0hFQURFUl9UUkFD S0lOR19EIDIKc2NvcmUgSkdfSEVBREVSX1RSQUNLSU5HX0UgMgpzY29yZSBKR19IRUFERVJfVFJB Q0tJTkdfRiAyCnNjb3JlIEpHX0hFQURFUl9UUkFDS0lOR19GIDIKc2NvcmUgSkdfSEVBREVSX1RS QUNLSU5HX0cgMgoKd2hpdGVsaXN0X2Zyb20JKkBsdWctb3dsLmRlCgpyZXdyaXRlX3N1YmplY3Qg MQpyZXBvcnRfc2FmZSAwCmFsd2F5c19hZGRfaGVhZGVycyAxCgp1c2VfYmF5ZXMgICAgICAgICAg ICAgICAxCgoKIyBNYWlsIHVzaW5nIGxhbmd1YWdlcyB1c2VkIGluIHRoZXNlIGNvdW50cnkgY29k ZXMgd2lsbCBub3QgYmUgbWFya2VkCiMgYXMgYmVpbmcgcG9zc2libHkgc3BhbSBpbiBhIGZvcmVp Z24gbGFuZ3VhZ2UuCiMgLSBlbmdsaXNoIGZpbm5pc2ggZ2VybWFuIHN3ZWRpc2ggCm9rX2xhbmd1 YWdlcyAgICAgICAgICAgIGVuIGZpIGRlIHN2IAoKIyBNYWlsIHVzaW5nIGxvY2FsZXMgdXNlZCBp biB0aGVzZSBjb3VudHJ5IGNvZGVzIHdpbGwgbm90IGJlIG1hcmtlZAojIGFzIGJlaW5nIHBvc3Np Ymx5IHNwYW0gaW4gYSBmb3JlaWduIGxhbmd1YWdlLgpva19sb2NhbGVzICAgICAgICAgICAgICBl biAKCiMgSkc6IEJld2VydHVuZ2VuIHZvbiBTcGFtOiBCYXllcyBmaWx0ZXIgbWVociBnZXdpY2h0 ICEKc2NvcmUgQkFZRVNfOTAgNy4wCnNjb3JlIEJBWUVTXzk5IDkuMApzY29yZSBCQVlFU184MCA2 LjAKc2NvcmUgQkFZRVNfNzAgNS4wCnNjb3JlIEJBWUVTXzYwIDQuNQpzY29yZSBNU0dJRF9HT09E X0VYQ0hBTkdFIC0wLjcgCnNjb3JlIElOX1JFUF9UTyAgICAgICAgICAtMC4yIApzY29yZSBFTUFJ TF9BVFRSSUJVVElPTiAtMC41CnNjb3JlIFBFTklTX0VOTEFSR0UJCTMKc2NvcmUgQkFTRTY0X0VO Q19URVhUIDMKc2NvcmUgVVNFUl9BR0VOVF9NT1pJTExBX1VBIDAKc2NvcmUgUkVGRVJFTkNFUyAw CnNjb3JlIElOX1JFUF9UTyAwCnNjb3JlIE9CRlVTQ0FUSU5HX0NPTU1FTlQgMgpzY29yZSBSQ1ZE X0lOX05KQUJMIDAuNiAgICAKc2NvcmUgUkNWRF9JTl9TT1JCUyAwLjYgICAKIyBIYWJlYXMgc29s bCBlaW5lIEZpcm1hIHNlaW4sIGRpZSBwZXIgQ29weXJpZ2h0IHZvbiAKIyAiR2VkaWNodGVuIiBp bSBIZWFkZXIgZ2VnZW4gU3BhbW1lciBhbmdlaGVuIHdpbGwKIyBpZGVlOiBXZW5uICJsaXplbnNp ZXJ0ZXMiIEdlZGljaHQgaW0gSGVhZGVyIAojID0+IEtlaW4gU3BhbSwgZnVua3Rpb25pZXJ0IGFi ZXIgaW0gTW9tZW50IG5pY2h0CiMgPT4gZ2V3aWNodHVuZyB2b24gLTggYXVmIG51bGwKc2NvcmUg SEFCRUFTX1NXRSAwCg== --===============7274708602445258665==-- From lars@marowsky-bree.de Wed Jan 21 10:31:18 2004 From: lmb To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 10:32:54 +0100 Message-ID: <20040121093254.GB25235@marowsky-bree.de> In-Reply-To: <1074674589.17642.12.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============5497081997480901029==" --===============5497081997480901029== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: quoted-printable On 2004-01-21T09:43:10, Stefan Ulrich Hegner said: > Es scheint mir die Spammer haben effiziente Wege um SA herum gefunden. Kann ich nicht best=C3=A4tigen. Allerdings hat bei meinen Tests der SA Bayes nicht so gut abgeschnitten, der bogofilter war besser. Deswegen verwende ich SA und bogofilter kaskadiert. Wichtig ist, das ein Bayes trainiert werden mu=C3=9F; ie, am Anfang ordentlich gef=C3=BCttert wird auch zur Laufzeit false positives / negatives nachtrainiert werden. > 4. Wenn ich entsprechend sch=C3=A4rfer filtere, steigt das Risiko von "false > positives". - Aber der Aufwand immer "manuell" danach zu suchen ist auch > recht hoch. - Wie macht Ihr das am effizientesten? Das mu=C3=9F dennoch sein, sonst wird insbesondere der Bayes-Filter sukzessive schlechter und generiert mehr false positives. Deswegen scanne ich meinen Spam-Folder einmal die Woche grob durch und trainiere ihm die wieder ab. Hier meine entsprechenden procmail Eintr=C3=A4ge. Swen & MS Attachments im allgemeinen Haue ich direkt weg, damit belaste ich meine Spam-Filter garnicht erst. Die von SA als Spams klassifizierten Mails gehen direkt in den bogofilter als Trainingsdaten; ansonsten wird bogofilter gefragt, ob es vielleicht doch Spam ist. Ich habe Erkennungsraten von ca. 99% und besser, auch wenns leider etwas langsam ist. # Some Swen filtering :0 D * ^SUBJECT: /dev/null # Some additional MS attachments... :0 B * ^TV[qpro][iw5QJB]............\/\/[8+]...........AAQAA.AA.AAAA.AAAAAAAAAAAAA= AAA | $MD spam :0fw: .spamassassin.lock | /home/lmb/bin/sa/usr/bin/spamassassin :0e { EXITCODE=3D75 HOST } :0: .bogofilter.lock * ^X-Spam-(Status|Flag): Yes | bogofilter -ps | $MD spam :0fw: .bogofilter.lock | bogofilter -u -e -p # if bogofilter failed, return the mail to the queue, the MTA will # retry to deliver it later # 75 is the value for EX_TEMPFAIL in /usr/include/sysexits.h :0e { EXITCODE=3D75 HOST } # Work around procmail bug: any output on stderr will cause the "F" in "From" # to be dropped. This will re-add it. :0 * ^^rom[ ] { LOG=3D"*** Dropped F off From_ header! Fixing up. " =20 :0 fhw | sed -e '1s/^/F/' } :0 * ^X-Bogosity: Yes, tests=3Dbogofilter | $MD spam ($MD ist einfach mein Programm um die Mail in einem Maildir abzulegen, das wichtige sind die Filterregeln.) --=20 "I'm extraordinarily patient provided I get my own way in the end." -- Margeret Thatcher --===============5497081997480901029==-- From lars@marowsky-bree.de Wed Jan 21 10:38:17 2004 From: lmb To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 10:34:51 +0100 Message-ID: <20040121093451.GC25235@marowsky-bree.de> In-Reply-To: <20040121090737.GA29669@localhost> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============6126374585030073828==" --===============6126374585030073828== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit On 2004-01-21T10:07:37, Johannes Goecke said: > was ich aber beobachtet habe, dass viele Spam versuchen die Bayes- > Filter zu bombardieren, in dem im plain-Text teil und am Ende > vom HTML-Teil der Spam wahllos harmlose Wörter auftauche, was die > Effizienz von Bayes deutlich senken soll. Im Moment hoffe ich, > dass die Zuhilfename von Blacklists zu SA diese Mails besser > aussortieren kann. Oh, noch was; ich verwende keine der Online-Listen, da die Klassifikation auf meinem Notebook stattfindet, auf das ich die Mail via UUCP over SSH ziehe, und mir da (je nach Firewall hinter dem ich gerade hänge ;-) kein Zugriff dazu möglich ist. Das scheint aber nicht zu schaden. -- "I'm extraordinarily patient provided I get my own way in the end." -- Margeret Thatcher --===============6126374585030073828==-- From flo@rfc822.org Wed Jan 21 10:55:04 2004 From: Florian Lohoff To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 10:51:54 +0100 Message-ID: <20040121095154.GA5107@paradigm.rfc822.org> In-Reply-To: <1074674589.17642.12.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============4377665527605578666==" --===============4377665527605578666== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 7bit --===============4377665527605578666== Content-Type: text/plain Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="attachment.txt" MIME-Version: 1.0 T24gV2VkLCBKYW4gMjEsIDIwMDQgYXQgMDk6NDM6MTBBTSArMDEwMCwgU3RlZmFuIFVscmljaCBI ZWduZXIgd3JvdGU6Cj4gTW9pbiwKPiAKPiBhbHNvIG1pciBnZXLkdCBkYXMgU3BhbS1Qcm9ibGVt IG1hbCB3aWVkZXIgYXVzIGRlbiBGdWdlbi4KPiAKPiBFcyBzY2hlaW50IG1pciBkaWUgU3BhbW1l ciBoYWJlbiBlZmZpemllbnRlIFdlZ2UgdW0gU0EgaGVydW0gZ2VmdW5kZW4uCgpJY2ggYmVudXR6 ZSBzZWl0ID42IE1vbmF0ZW4gbnVyIG5vY2ggImJvZ29maWx0ZXIiIC0gRGFzIHpldWcgbGFldWZ0 ClNVUEVSIG5hY2hkZW0gbWFuIGRhcyBlaW5tYWwgYW5nZWxlcm50IGhhdC4gRXMgaGlsZnQgd2Vu biBtYW4gbWFsIGVpbgpwYWFyIHNwYW0gbWFpbHMgYXVmYmV3YWhydCB1bmQgZGllIGltIGJhdGNo IGRhIGR1cmNoc2NoaWVidC4KCkZsbwotLSAKRmxvcmlhbiBMb2hvZmYgICAgICAgICAgICAgICAg ICBmbG9AcmZjODIyLm9yZyAgICAgICAgICAgICArNDktMTcxLTIyODAxMzQKICAgICAgICAgICAg ICAgICAgICAgICAgSGVpc2VuYmVyZyBtYXkgaGF2ZSBiZWVuIGhlcmUuCg== --===============4377665527605578666== Content-Type: application/pgp-signature Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="attachment.sig" MIME-Version: 1.0 LS0tLS1CRUdJTiBQR1AgU0lHTkFUVVJFLS0tLS0KVmVyc2lvbjogR251UEcgdjEuMi4xIChHTlUv TGludXgpCgppRDhEQlFGQURrdTZVYXoyclhXK2dKY1JBdHZ0QUo5WGNGNHJnSHZsOUs5VWZ3L2lq RVlhOWM4cHFnQ2NERHVOClBpWkZCSytZL1RESDJvUHVVczNrUkhzPQo9cGp4ZgotLS0tLUVORCBQ R1AgU0lHTkFUVVJFLS0tLS0K --===============4377665527605578666==-- From flo@rfc822.org Wed Jan 21 10:55:05 2004 From: Florian Lohoff To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 10:52:24 +0100 Message-ID: <20040121095224.GB5107@paradigm.rfc822.org> In-Reply-To: <20040121090432.GI16029@nionex.net> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============3372028364851329581==" --===============3372028364851329581== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 7bit On Wed, Jan 21, 2004 at 10:04:32AM +0100, Uwe Schuerkamp wrote: > > Ich nutze seitdem bogofilter und bekomme so im Schnitt vielleicht noch > eine Spammail die Woche, der Rest wird erkannt und scheinbar korrekt > "behandelt" (und noch wichtiger: keine false positives). > Grundsaetzlich stimme ich dem zu - Ich habe allerdings mehr false positives - D.h. ich suche ab und zu mal meinen spam folder durch. Flo -- Florian Lohoff flo@rfc822.org +49-171-2280134 Heisenberg may have been here. --===============3372028364851329581== Content-Type: application/pgp-signature Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="attachment.sig" MIME-Version: 1.0 LS0tLS1CRUdJTiBQR1AgU0lHTkFUVVJFLS0tLS0KVmVyc2lvbjogR251UEcgdjEuMi4xIChHTlUv TGludXgpCgppRDhEQlFGQURrdllVYXoyclhXK2dKY1JBbjEwQUowUm9mdDFPT1pxUjhMVTIwMDd3 NkxWMndtVVF3Q2ZSckFuCjlLMGNKUHI0VGkvR3VZa090SklYelVRPQo9VkZWNwotLS0tLUVORCBQ R1AgU0lHTkFUVVJFLS0tLS0K --===============3372028364851329581==-- From cord@lug-owl.de Wed Jan 21 11:03:19 2004 From: Cord Beermann To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 11:03:12 +0100 Message-ID: <20040121100312.GA21714@Wunder-Nett.org> In-Reply-To: <20040121095224.GB5107@paradigm.rfc822.org> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============3261576280455225119==" --===============3261576280455225119== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit Hallo! Du (Florian Lohoff) hast geschrieben: >On Wed, Jan 21, 2004 at 10:04:32AM +0100, Uwe Schuerkamp wrote: >> >> Ich nutze seitdem bogofilter und bekomme so im Schnitt vielleicht noch >> eine Spammail die Woche, der Rest wird erkannt und scheinbar korrekt >> "behandelt" (und noch wichtiger: keine false positives). >> > >Grundsaetzlich stimme ich dem zu - Ich habe allerdings mehr false >positives - D.h. ich suche ab und zu mal meinen spam folder durch. ich habe ebenfalls einen Spamassassin zum Taggen, (der auch einige RBLs berücksichtigt) und zum sortieren benutze ich bogofilter. Diese Konstruktion verwende ich seit ca. einem Jahr und habe etwas 1 false negative/Tag und bisher noch keinen(!) False Positive mein Spamvolumen belief sich bei der letzten Zaehlung auf 300Spams/Tag. Cord --===============3261576280455225119==-- From stefan@hegner-online.de Wed Jan 21 12:03:43 2004 From: Stefan Ulrich Hegner To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 12:03:40 +0100 Message-ID: <1074683019.17642.70.camel@hegi.bogus.heginet.local> In-Reply-To: <20040121090737.GA29669@localhost> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============2646519816635297227==" --===============2646519816635297227== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit Hi Johannes, ... na da hab' ich ja mal wieder was losgetreten. zum Veständnis vorweg: Bei mir wird SA von amavisd aufgerufen. Vermute daher das es als user "amavis" läuft. Am Mi, den 21.01.2004 schrieb Johannes Goecke um 10:07: > > 2. Watt macht Ihr dagegen? > SA + Razor (Black Lists) in meiner /etc/mail/spamassassin/local.cf sind die Network-checks enabled: skip_rbl_checks 0 use_razor2 1 use_dcc 1 use_pyzor 1 ... oder meinst Du mit Black Lists noch was anderes (sep. Software etc.)? Nur hab' ich so das dumpfe Gefühl, dass amavisd SA irgendwie so aufruft, dass diese globale config gar nicht zum tragen kommt. > - Whitelist wo ich quasi alle bekannten Absender eintrage machst Du das per Kommandozeilenaufruf (--add-addr-to-whitelist) oder geht das auch effizienter? > - eigene "scores" fuer die unterschiedlichen tests (siehe attachment) hmmm. gut. Weiß bloß noch nicht wo ich die sa-user_prefs hinpacken soll. Tippe mal auf ~amavis/.spamassassin. - Werd' das gleich mal probieren. > was ich aber beobachtet habe, dass viele Spam versuchen die Bayes- > Filter zu bombardieren, in dem im plain-Text teil und am Ende > vom HTML-Teil der Spam wahllos harmlose Wörter auftauche, was die > Effizienz von Bayes deutlich senken soll. ... aber müßte das nicht auch dem bogofilter zusetzen? > nicht der Weisheit letzter schluss, aber bei mir praktikabel. Tja, mal sehen, wie wir da weiterkommen. Gruß Stefan. -- / Stefan Ulrich Hegner aka "Hegi" - Loehne/ Westfalen - Germany \ | stefan@hegner-online.de, my Cyberhome http://www.hegner-web.de| \ GPG-Fprint D9DB 51BD 2DA6 9B3A 41CB 0287 05A1 8D11 38BA CE91 / --===============2646519816635297227== Content-Type: application/pgp-signature Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="signature.asc" MIME-Version: 1.0 LS0tLS1CRUdJTiBQR1AgU0lHTkFUVVJFLS0tLS0KVmVyc2lvbjogR251UEcgdjEuMi4zIChHTlUv TGludXgpCgppRDhEQlFCQURseUxCYUdORVRpNnpwRVJBazdiQUo5WDRqdStJMkRHb1l4Yk94WFJD b2s2TEptNHF3Q2Zkd0xOCkJENHQ0bWFPdGJSV1NOMGJBdlVoVmRjPQo9K2ZjbgotLS0tLUVORCBQ R1AgU0lHTkFUVVJFLS0tLS0K --===============2646519816635297227==-- From stefan@hegner-online.de Wed Jan 21 12:14:35 2004 From: Stefan Ulrich Hegner To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 12:14:34 +0100 Message-ID: <1074683674.17641.82.camel@hegi.bogus.heginet.local> In-Reply-To: <20040121093254.GB25235@marowsky-bree.de> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============6867845978599634363==" --===============6867845978599634363== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit Hi Lars, Am Mi, den 21.01.2004 schrieb lmb um 10:32: > Allerdings hat bei meinen Tests der SA Bayes nicht so gut abgeschnitten, > der bogofilter war besser. Deswegen verwende ich SA und bogofilter > kaskadiert. Wie genau geht sowas praktisch? Geht das auch wenn SA durch amavisd aufgerufen wird? > Wichtig ist, das ein Bayes trainiert werden muß; ie, am Anfang > ordentlich gefüttert wird auch zur Laufzeit false positives / negatives > nachtrainiert werden. ... datt mach ich an sich seit einem Jahr. > > 4. Wenn ich entsprechend schärfer filtere, steigt das Risiko von "false > > positives". - Aber der Aufwand immer "manuell" danach zu suchen ist auch > > recht hoch. - Wie macht Ihr das am effizientesten? > > Das muß dennoch sein, sonst wird insbesondere der Bayes-Filter > sukzessive schlechter und generiert mehr false positives. Deswegen > scanne ich meinen Spam-Folder einmal die Woche grob durch und trainiere > ihm die wieder ab. Wobei ich aber auch schon erlebt habe, dass das nicht sofort hilft. Hatte da schon mal Mails von 'nem Bot, die als Spam getaggt wurden. Nach einem sa-learn --ham ... war dem aber immer noch so. > Hier meine entsprechenden procmail Einträge. Swen & MS Attachments im > allgemeinen Haue ich direkt weg, damit belaste ich meine Spam-Filter > garnicht erst. Was ist "Swen"? > Die von SA als Spams klassifizierten Mails gehen direkt in den > bogofilter als Trainingsdaten; ansonsten wird bogofilter gefragt, ob es > vielleicht doch Spam ist. Ich habe Erkennungsraten von ca. 99% und > besser, auch wenns leider etwas langsam ist. So weit so gut. [.procmailrc] ... sieht ja doch schwer danach aus, dass ich um Procmail zumindest diesmal nicht herumkomme. Auch wenn ich noch nicht alles in Deiner .procmailrc verstehe, sieht das aber so aus, als ich die mit einigen kleinen Anpassungen übernehmen könnte. Das würde heißen, dass ich MD (oder was ähnliches) und bogofilter installieren müsste, ein paar Pfund Spam da durchjage und dann hoffe, dass es besser wird ... ... lieber wäre mir es würd' sich noch was weniger komplexes findes. Da ich den ganzen Krams "nur für den Hausgebrauch" nutze, stell ich mir manchmal auch durch die Komplexität ein paar Beine. Gruß Stefan. -- / Stefan Ulrich Hegner aka "Hegi" - Loehne/ Westfalen - Germany \ | stefan@hegner-online.de, my Cyberhome http://www.hegner-web.de| \ GPG-Fprint D9DB 51BD 2DA6 9B3A 41CB 0287 05A1 8D11 38BA CE91 / --===============6867845978599634363== Content-Type: application/pgp-signature Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="signature.asc" MIME-Version: 1.0 LS0tLS1CRUdJTiBQR1AgU0lHTkFUVVJFLS0tLS0KVmVyc2lvbjogR251UEcgdjEuMi4zIChHTlUv TGludXgpCgppRDhEQlFCQURsOGFCYUdORVRpNnpwRVJBbSs4QUo0bnh3MUF5Sml0dVpyczVvOXpw SmY5K1ZBdjFRQ2VNcGNICnJITUtycHMrdnJRNE9Na1M1OEVKVUMwPQo9UWZCbQotLS0tLUVORCBQ R1AgU0lHTkFUVVJFLS0tLS0K --===============6867845978599634363==-- From joho@hausboot.org Wed Jan 21 12:19:07 2004 From: Jens Hoffrichter To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 12:19:04 +0100 Message-ID: <20040121111904.GC4312@deepthought.hausboot.org> In-Reply-To: <1074674589.17642.12.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============8161880745613291875==" --===============8161880745613291875== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit Hi, Ich hatte bis Weihnachten das Problem auch relativ extrem, hab dann mal meine Procmail konfiguriert (das stand irgendwie immer noch aus ;)) ), und meinen SpamAssassin auf die neueste Debian-Unstable Version upgegraded. Ausserdem trainiere ich halt den Bayes Filter regelmaessig, und der hat inzwischen super Erkennungsraten. Ich hab so 40-50 Spams am Tag, und davon ist vllt eine false Negative, false Positives habe ich noch nicht gehabt. Ich muss aber auch dabei sagen, das ich das Zeug mit relativ viel ham gefuettert hat (so >2000). Das scheint ganz gut funktioniert zu haben. Ausserdem habe ich noch razor drauf und die network-Tests enabled. Allerdings fängt der Bayes-Filter ca. 90% der Spam-Mails schon ab und scored die auf 5.4 hoch (5 ist bei mir die Schwelle fuer die detection, ab ~10 werden die ins autolearn fuer Spam geschickt). Und bis jetzt bin ich wirklich zufrieden, meine Mailbox ist deutlich lesbarer geworden ;) CU all, Jens -- GPG: 1024D/CF884D50 F2E8 F7FC F823 6464 4E9D EFAB 6EE9 8B9C CF88 4D50 ------------------------------------------------------------------------ Jens Hoffrichter / joho@hausboot.org / Joho@IRC / Fon: +43-650-5376989 Working with Unix is like wrestling a worthy opponent. Working with windows is like attacking a small whining child who is carrying a .38. (seen on gentoo-dev) --===============8161880745613291875==-- From toens.bueker@lists0903.nurfuerspam.neuroserve.de Wed Jan 21 12:28:34 2004 From: Toens Bueker To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 12:28:44 +0100 Message-ID: <20040121112844.GW16569@neteligent.de> In-Reply-To: <1074683019.17642.70.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============2699893523834401100==" --===============2699893523834401100== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit Stefan Ulrich Hegner meinte: > in meiner /etc/mail/spamassassin/local.cf sind die Network-checks > enabled: > skip_rbl_checks 0 > use_razor2 1 > use_dcc 1 > use_pyzor 1 > ... oder meinst Du mit Black Lists noch was anderes > (sep. Software etc.)? Nein, er meint RBLs wie z. B. ordb, dsbl o. ä. DCC, Pyzor und Razor überprüfen an Hand von Checksums, ob es sich bei der untersuchten Mail um Spam handeln könnte. Ausserdem sollte SA erkannten Spam mit einer Checksum versehen und einreichen. > Nur hab' ich so das dumpfe Gefühl, dass amavisd SA > irgendwie so aufruft, dass diese globale config gar > nicht zum tragen kommt. Du solltest amavis mit /usr/sbin/amavisd-new debug aufrufen, um zu sehen, was SA unter amavis so macht. > machst Du das per Kommandozeilenaufruf > (--add-addr-to-whitelist) oder geht das auch effizienter? Autolearn, Autowhitelist. > hmmm. gut. Weiß bloß noch nicht wo ich die sa-user_prefs > hinpacken soll. Tippe mal auf ~amavis/.spamassassin. - > Werd' das gleich mal probieren. Unter Debian liegen sie unter /var/lib/amavis/.spamassassin Dort kann man dann auch noch die anderen Sachen, wie z. B. eine .procmailrc für den User amavis unterbringen. Tschö Töns -- There is no safe distance. --===============2699893523834401100==-- From goecke@upb.de Wed Jan 21 12:57:57 2004 From: Johannes Goecke To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 12:56:42 +0100 Message-ID: <20040121115642.GA31650@localhost> In-Reply-To: <1074683019.17642.70.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============5365111881635132392==" --===============5365111881635132392== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit On Wed, Jan 21, 2004 at 12:03:40PM +0100, Stefan Ulrich Hegner wrote: > Hi Johannes, > > ... na da hab' ich ja mal wieder was losgetreten. > > zum Veständnis vorweg: Bei mir wird SA von amavisd aufgerufen. Vermute > daher das es als user "amavis" läuft. ich habe leider _nur_ IMAP zugriff auf den Mailserver d.h. ich verwende ein "isbg.py" Script welches per Cron vom einem Client alle paar Minuten gestartet wird - auch suboptimal aber geht. > > Am Mi, den 21.01.2004 schrieb Johannes Goecke um 10:07: > > > 2. Watt macht Ihr dagegen? > > SA + Razor (Black Lists) > > in meiner /etc/mail/spamassassin/local.cf sind die Network-checks > enabled: > skip_rbl_checks 0 > use_razor2 1 > use_dcc 1 > use_pyzor 1 > ... oder meinst Du mit Black Lists noch was anderes (sep. Software > etc.)? Ich denke das ist genau der (von mir verwendete) Debian-Default. Du musst (laut Doku) unter Debian nur das Spamassassin und das "razor" paket installieren. (m.W. kann spamassassin selbst keine Black-Lists nur externe Software wie razor, etc) > > Nur hab' ich so das dumpfe Gefühl, dass amavisd SA irgendwie so aufruft, > dass diese globale config gar nicht zum tragen kommt. > > > - Whitelist wo ich quasi alle bekannten Absender eintrage > > machst Du das per Kommandozeilenaufruf (--add-addr-to-whitelist) oder > geht das auch effizienter? Ich mache es von Hand, weil relativ statisch: eine Zeile "whitelist_from" und alle bekannten E-Mail Adressen in eine Zeile durch space getrennt. > > > - eigene "scores" fuer die unterschiedlichen tests (siehe attachment) > > hmmm. gut. Weiß bloß noch nicht wo ich die sa-user_prefs hinpacken soll. > Tippe mal auf ~amavis/.spamassassin. - Werd' das gleich mal probieren. > Ups: ich hatte die Datei umbenannt und E-Mail Adressen entfernt. Sie heist bei mir ~/.spamassassin/user_prefs sollte im Selben verzeichnis liegen, wie die bayes_* files die du verwendest. > > was ich aber beobachtet habe, dass viele Spam versuchen die Bayes- > > Filter zu bombardieren, in dem im plain-Text teil und am Ende > > vom HTML-Teil der Spam wahllos harmlose Wörter auftauche, was die > > Effizienz von Bayes deutlich senken soll. > > ... aber müßte das nicht auch dem bogofilter zusetzen? ... im Prinzip schon ... > > > nicht der Weisheit letzter schluss, aber bei mir praktikabel. > > Tja, mal sehen, wie wir da weiterkommen. > > Gruß > > Stefan. > gruß Johannes --===============5365111881635132392==-- From lars@marowsky-bree.de Wed Jan 21 13:07:19 2004 From: Lars Marowsky-Bree To: linux@lug-owl.de Subject: Re: SpamAssassin: Schlechtere Wirkung trotz niedrigerer Schwellen + Bayes Date: Wed, 21 Jan 2004 13:05:54 +0100 Message-ID: <20040121120554.GF25235@marowsky-bree.de> In-Reply-To: <1074683674.17641.82.camel@hegi.bogus.heginet.local> MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="===============4059667716531340263==" --===============4059667716531340263== Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: 8bit On 2004-01-21T12:14:34, Stefan Ulrich Hegner said: > > Allerdings hat bei meinen Tests der SA Bayes nicht so gut abgeschnitten, > > der bogofilter war besser. Deswegen verwende ich SA und bogofilter > > kaskadiert. > Wie genau geht sowas praktisch? Geht das auch wenn SA durch amavisd > aufgerufen wird? Das beschrieb ich weiter unten. (Ich habe das procmail Snippet weitgehend aus der bogofilter man page geklaut und nur erweitert) Mit amavisd kenne ich mich nicht aus. > Wobei ich aber auch schon erlebt habe, dass das nicht sofort hilft. > Hatte da schon mal Mails von 'nem Bot, die als Spam getaggt wurden. Nach > einem sa-learn --ham ... war dem aber immer noch so. Klar. Es beeinflußt die Gewichtung nicht unbedingt 100% sofort. Ich weiß auch nicht, ob ein bogofilter sich da beim lernen anders verhält als SpamAssassin. > Auch wenn ich noch nicht alles in Deiner .procmailrc verstehe, sieht das > aber so aus, als ich die mit einigen kleinen Anpassungen übernehmen > könnte. > > Das würde heißen, dass ich MD (oder was ähnliches) und bogofilter > installieren müsste, ein paar Pfund Spam da durchjage und dann hoffe, > dass es besser wird ... md_spool musst Du nicht installieren. Du kannst auch einfach direkt mittels procmail die Mails in die entsprechenden Folder packen. Und Du sollst Deinen Spam zum lernen auch nicht da durch jagen, das sind die automatischen Filterregeln für die automatische Verkettung der beiden. Den Spam zum lernen schickst Du direkt in den bogofilter rein. (Ebenso natürlich wie den Ham, sonst wird bogofilter auch nicht so gut tun.) Lies Dir mal die bogofilter manpage durch. Mit freundlichen Grüßen, Lars Marowsky-Brée -- High Availability & Clustering \ ever tried. ever failed. no matter. SUSE Labs | try again. fail again. fail better. Research & Development, SUSE LINUX AG \ -- Samuel Beckett --===============4059667716531340263==--