Vratenie spamu...

[Honza Pazdziora]

On Thu, Aug 21, 2003 at 12:37:17PM +0000, Pavel Janoušek wrote:
> > From: Honza Pazdziora [mailto:adelton na fi.muni.cz] 
> > Access.db je seznam IP adres. Greylisting pracuje s trojici IP adresa,
> 
> 	ne neni - to je pouze jeho zakladni vyuziti, moznosti jsou rozsahlejsi (viz prislusna dokumentace)...

Jiste, mluvim o zakladu. Podstatne mi na tom prijde, ze to je seznam,
rucne udrzovany (nebo automaticky, ale zvenku). Ten greylisting si sam
udrzuje tu databazi, jedine co musite nastavit jsou whitelist adresy
svych MX a internich stroju. Dal se to cele deje vevnitr.

> 	Asi jsem se spatne dival, ale jak nadefinuji opravdu tu
> trojici? Tedy pokud IP adresa A a zaroven obalkovy odesilatel
> B a zaroven obalkovy prijemce C, pak a) zdrz, b) black, c) pust...
> - mluvite tu o trojici, ale v tech white a black listech jsem tyto
> vyrazove prostredky nenasel, proto jsem se ozval, ze je to to same

Asi nerozumim. MTA prijima spojeni a v jistem okamziku (po RCPT TO) ma
k dispozici tri udaje: IP adresu, odkud spojeni prislo, obalkoveho
odesilatele a obalkoveho prijemce. Toto je ta trojice. S ni se
pracuje.

> > 1) spamer se nebude obtezovat zkouset tu zpravu dorucit podruhe;
> 
> 	Ne, ten to mezitim posle pres zalozni MX...:-) (nekteri to
> delaji zamerne...)

Ano, prave proto ten navrh rika, ze aby to melo cenu, mel byste to mit
nasazeno na vsech svych MX. A bavi se o tom, jestli a jak tu databazi
mezi nimi sdilet ... Svuj druhy MX je samozrejme rozumne mit ve
whitelistu, protoze _vite_, ze ten pokus o znovudoruceni provede.

> > 2) pokud ano, tak v tom mezicase (5 minut, nebo hodina, kolik si
> >    nastavite, nez se zmeni 443 na 250) uz bude ta IP adresa nebo ten
> >    spam v jinych databazich (open relay, razor, atp.), takze to
> >    zablokujete dodatecnymi prostredky;
> 
> 	To je v akademickem prostredi dobra vec, ale v komercnim
> dodnes tezko lidem vysvetlujete, jaky status ma dorucovani posty
> a ze to neni garantovana sluzba... (az z principu by mohla byt)

No, kvalita fungovani emailu v nekterych komercnich podnicich je
takova, ze zpomaleni o 5 minut se uz vubec nijak negativne neprojevi.
Jak rikam, mne prijde jako rozumnejsi zacit s peti minutami nez
s hodinou, ale YMMV.

Je treba si uvedomit, ze pokud tenhle postup zabere, tak jste
odblokoval spam _bez nebezpeci, ze jste odblokoval jediny legitimni
dopis_. Takze do dorucovani legitimni posty jste zasahl pouze tim
zpomalenim. To se deje dnes a denne (tedka se tim pretizenim kvuli
virum je spis vyjimka, ze dopis prijde Internetem hned).

> > 3) pokud si s nekym dopisujete casto, tak ho budete mit v databazi
> >    a dopis prijde hned;
> 
> 	Vyjmenovavat seznam minimalne dvojic B:C, neli A:B je fakt

Je to seznam [A:B:C]. A nebudete ho vyjmenovavat Vy, ale ten system
sam. Na zacatku nemate v databazi nic. Pak prijde prvni dopis, vrati
se na neho "docasne nedostupne" a trojice (tvorici ten hash) se
automaticky ulozi do databaze. Pokud prijde dopis se stejnou trojici
podruhe, tak uz je nalezen v databazi a uplynula-li dostatecne dlouha
doba (5 minut, treba), je propusten dal.

> uchvatna prace - zejmena pro firemni mailserver nebo poskytovatele
> ASP (kde je hlavni vychozim bod spamu? - zodpovezeni teto otazky
> by mozna bylo vhodne na zacatku - ja tvrdim, ze jsou to ASP - od
> poskytovatelu Free pripojeni, pres freemaily az po provozovatele
> metropolitnich siti - tedy vesmes pro Internet anonymni entity
> misto kategorizovatelnych entit ve smyslu firem apod.)...

Ja mam nejak problem pochopit, zda se timto na neco ptate nebo neco
konstatujete.

Pokud Vam prijde, ze databaze trojic bude velka pro velke systemy,
no, mate asi pravdu. Ale pokud pro kazdy prosly dopis logujete jeden
az dva radky o tom, ze prosel, tak tady mate pametovou narocnost nizsi,
protoze spousta tech dopisu bude mit tu trojici stejnou a proto ta
trojice bude v databazi jenom jednou.

Pokud Vam prijde, ze byste musel rucne neco udrzovat, tak ne --
udrzuje samo.

Ten greylisting resi situaci, kdy si nekdo v Montane na ADSL spojeni
zapne pocitac a rozesle 10 milionu spamu. Posila je z IP adresy, ze
ktere dosud nic neslo, a posila to s nahodnymi odesilateli.
A zkusenost autora toho clanku je, ze se ten spammer neobtezuje
opakovat pokus o doruceni nebo neco podobneho, protoze ma omezeny cas,
nez ho poskytovatel toho ADSL po stiznostech odrizne. Hit'n'run. Takze
kdyz vy tomu cloveku vratite 443 a zavrete spojeni, uz o nem
neuslysite.

> > 4) pouze pokud vam nekdo pise poprve, bude jeho dopis nejakou dobu
> >    cekat.
> 
> 	Jak to? Pokud ho nebudu mit ve white listu, pak se situace
> opakuje treba kazdy den...

Jak "jak to"? To je princip. :-)

Pokud prisel dopis, jehoz trojici [IP adresa:obalkovy
odesilatel:obalkovy prijemce] neni dosud v databazi, tak se vrati
docasna chyba 443 a trojice se ulozi do databaze s casem, kdy byla
videna.  Pokud externi MTA zopakuje pokus o doruceni, tak je mu po
nejakou dobu stale rikano docasne nedostupne, a po nejake dobe je
dopis propusten. Kdyz pak prijde dopis se stejnou trojici za tri
dny, tak uz je trojice v databazi a projde hned. Ta trojice pak muze
lezet v te databazi libovolne dlouho, ten clanek rika neco pres mesic,
a dokud je v databazi, tak vsechny dalsi dopisy s tou trojici
prochazeji bez omezeni.

> 	Mluvil jste o dynamicnosti celeho procesu - neni toto

Dynamicnost celeho procesu funguje v te zakladni variante. Jejiz
vlastnosti je, ze pokud prisel dopis s trojici [IP adresa: obalkov
odesilatel:obalkovy prijemce], ktera jeste nebyla videna, tak bude
cekat. Nakonec bude dorucen, je-li to legitimni dopis, protoze se
dorucujici MTA bude opakovane snazit o doruceni. A ten system si sam
hlida, koho kdy pustit a koho ne. Jako spravce se zadnymi trojicemi
rucne nezabyvate.

> prave to manualni? Stejne jako ja si manualne sestavuji blacklist

Ten manualni zasah muze byt nutny, pokud byste jako uzivatel mel
pocit, ze je nepripustne, aby dopis, na ktey cekate, pred dorucenim
cekal. Ten puvodni clanek se o tom nezminuje, ja akorat rikam, ze
pokud jste se prave telefonicky bavite s klientem, ktery rika
"posilam Vam tu smlouvu", tak ze muzete chtit kliknout na nejake
rozhrani, kterym si ten pristup docasne otevrete uplne. Protoze klient
ocekava, ze email prijde hned a ze se hned o tom dokumentu budete
bavit. Tohle je pak zpusob, jak citlivym uzivatelum dat moznost
"doruceni hned". Je to ale nadstavba, nakonec jim ten legitimni dopis
stejne prijde.

> a pomerne uspesne snizuji mnozstvi obdrzeneho spamu?

Pouzivam SpamAssassin a ted zacinam testovat bogofilter. Mnozstvi
spamu je u mne neunosne (95 procent veskere posty). A protoze ten
SpamAssassin ma stale jiste mnozstvi false positives, musim ten seznam
spamu aspon proletet ocima, nez ho smazu. Vyhoda greylistingu by pro
mne byla v tom, ze tam zadne false positives nemohou z principu
nastat.

> 	A prave v tom je problem - sekundarni MX-ko je primarnim
> cilem utoku trochu zdatnejsich spameru...

Nema smysl mit ten system na jednom a nemit na druhem. Musite ho mit
na obou.

> > Oproti access.db je to dynamicke a nema to jako primarni cil nekoho
> 
> 	Kde? Pokud tim nechci byt "obtezovan" a vnaset nesystemove

Jak "kde"? Na co se ptate?

> podminky do SMTP komunikace (byt z normy korektni), pak musim tu
> praci delat rucne - sestavovat dvojice, trojice apod....

Ale houby. Nikdo nemuze MTA zakazat, aby vratil 443. A pokud ten
dorucujici MTA ten pokus o doruceni nezopakuje (a vysledek bude, ze
ten spam nikdy nebudete muset parsovat, skladovat, analyzovat), tak
jste vyuzil nejakych vlastnosti SMTP k tomu, ze jistou tridu spamu
oriznete hned na vstupu. Prijde mi to genialni. Bohuzel nemam moznost
to vyzkouset v praxi, tak me zajimalo, jestli o tom nekdo kdo tu
moznost ma uvazoval nebo to provozuje.

> 	Dival jste se na hlavicky bezneho spamu? Tam nejde o to,
> zda-li to spamer zkusi nebo ne, on to totiz bohuzel zkusi MTA
> pred Vasich MX-kem na zaklade svych pravidel pro prochazeni
> fronty... - neprochazi mi mnoho spamu, kdy mezi src a mym MX-kem

Tohle ale znamena, ze se tomu spammerovi podarilo dopis dostat na
nejaky MTA, ktery ho prijal jako odchozi postu. Tedy open relay. Nebo
je to MTA postytovatele pripojeni toho spammera. V kazdem pripade,
pokud ten dopis neprijmete napoprve, ale s jistym zpozdenim, tak
nastupuje druha vyhoda -- ze totiz az ten dopis timto systemem projde
(protoze to ten MTA zkusi znova), tak uz jeho IP adresa bude
v seznamech open relay, spamy, ktere uz dorucil, budou v razoru
a spamcopu a tak. Takze i kdyz nakonec ten dopis prijmete, nasledna
analyza spamu muze byt mnohem ucinnejsi. Jako clovek s emailem od a
bych velmi casto ocenil, kdybych nebyl ten prvni, ke komu ten spam
dorazi.

> neni zadny MTA...

U spamu, ktere chodi mne, je to asi 80 procent, co se tak nahodne
divam.

> > dozvedely jine sluzby, ktere se spamem zabyvaji. Abych pak ten spam
> > mohl zahodit ve druhem sledu.
> 
> 	A vite, ze toto je docela odvazny a zbozny predpoklad?
> Divejte se na to komplexne - jak by ten mail mohl byt takto
> klasifikovan (jako spam), kdyz nikdo o nem nic nevi, protoze
> vsichni "rozumni" na nej odpovi 443 (a tedy tvrdne po cestach
> ve frontach) a ti ostatni "nerozumni" ho uz dostali (a tezko

Podivejte, stejne tak muzete namitnout, ze spammeri proste zacnou psat
svuj software tak, ze se budou snazit natvrdo dorucovat jeste jednou
po hodine. Tohle ale predpoklada, ze se cely Internet bude chovat
stejne. Nebude. Ano, za dva roky tohle vubec nemusi fungovat. Do te
doby to ale muze vyrazne snizit mnozstvi spamu, ktere budete muset
dorucit. Ano, spammeri se prizpusobi, pokud to pro ne bude vyhodne.
Pak bude potreba vymyslet neco jineho. Treba v te dobe nebudou ani
open relays, takze i tyhle databaze pujdou do kytek. Pokud by se
tahle metoda nasadila na > 50 procentech pocitacu, tak prestane byt
ucinna. Takovehle nasazeni ale zatim nehrozi.

> 	Takze si kladu otazku, k cemu to vlastne vsechno je a jak
> se to odlisuje od soucasnych vice mene standardnich vyrazovych
> prostredku jednotlivych MTA?

Odlisuje se to ve dvou bodech, co tak chapu:
- to "spamove zpracovani" se provadi ihned na zacatku (po RCPT TO)
  SMTP spojeni, neni tedy treba rozbalovat MIME a tak;
- nikdy nebude jako spam klasifikovano neco, co spam neni.

Zvlaste ten druhy bod znamena, ze je mozne to nasadit a nehrozi
nebezpeci, ze na Vas Vas sef/klient/nekdo bude rvat, ze mu kvuli
nejakymu blbymu filtru neprisel nejaky dulezity dopis. Proste posta
ktera splnuje nalezitosti SMTP (ze MTA ma zopakovat pokus o doruceni)
bude chodit jako dosud. Tu druhou to orizne a nikdy po ni nikdo ani
nevzdechne.

PS: Prosim, zalamujte na < 80 znaku.

-- 
------------------------------------------------------------------------
 Honza Pazdziora | adelton na fi.muni.cz | http://www.fi.muni.cz/~adelton/
 .project: Perl, mod_perl, DBI, Oracle, auth. WWW servers, XML/XSL, ...
		Only self-confident people can be simple.