onderwerp Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder in Archief

Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

kb1 — Tue, 06 Feb 2024 13:38:24 GMT

Het viel mij de afgelopen week op - er werden meerdere e-mails in de SPAM folder gezet van mijn Ziggo mail account. Veel meer dan ik verwacht en geen "echte" spam maar normale e-mails zonder rare dingen.

Ik heb een voorbeeld opgestuurd naar abuse@ziggo.nl en uiteindelijk komen we op de volgende verklaring:

De meerderheid van mijn e-mails wordt ontvangen op een ander adres en geforward (doorgestuurd) naar mijn Ziggo adres. Doordat de e-mail wordt geforward is SPF niet meer "pass". SPF is het mechanisme die bewaakt of een mail server toestemming heeft van het verzendende domain om e-mail te mogen verzenden. De server die de forward doet staat niet op de lijst van de verzender en dus SPF niet "pass".

Als voorbeeld: iemand stuurt vanaf pietje@example.com een e-mail naar jantje@voorbeeld.nl en deze mail wordt automatisch doorgestuurd naar fam_jantje@ziggo.nl. De mail server van example.com heeft wel toestemming om namens example.com te verzenden. De mail server van voorbeeld.nl heeft geen toestemming om namens example.com te verzenden en als resultaat is de SPF status bij ziggo.nl niet "pass".

In de DNS entry van het verzendende domain staat een SPF record die aangeeft welke mail servers toestemming hebben. Deze lijst wordt gebruikelijk afgesloten met ~all, ?all of -all. De eerste optie ~all geeft een "softfail" terwijl ?all een "neutral" resultaat geeft. Eigenlijk zegt het verzendende domain - deze mail server staat niet op mijn lijst maar je mag wel een oogje toeknijpen. De tweede optie -all geeft een SPF "fail" of spf_hard_fail status.

In de praktijk eindigt het SPF record bij veel domains op ~all. Dat is onder andere zo bij Ziggo, kpnmail (?all), en gmail. Microsoft mail gebruikt -all en dat is dus ook zo bij hotmail, live, outlook en de vele bedrijfsmails die gebruik maken van Microsoft.

De Ziggo mail server is nu zo ingesteld dat ze ontvangen e-mail met een "spf_hard_fail" status in de spam folder zetten. Dat gebeurt dus ook als er geen onvertogen woord in de mail staat en de beveiligingen en controles zoals Reverse IP, DKIM, DMARC allemaal ok zijn. Het is mij niet helemaal duidelijk hoe lang ze dit al doen.

Het resultaat is dus dat een aantal geforwarde maar verder correcte e-mails in de spam folder terecht zullen komen. Als ontvanger sta je hier machteloos. De kans dat je Microsoft of andere mail providers zo ver krijgt dat ze voor jou hun SPF record gaan aanpassen is nihil.

Het is mogelijk dat de mail servers die de forward uitvoeren een techniek toepassen (SRS) waarmee ze er voor kunnen zorgen dat er ook een goede SPF status (van hun eigen domain) bij Ziggo aankomt. In de praktijk maken nog heel weinig providers gebruik van SRS (ook Ziggo niet.) De kans dat je jouw eigen provider ( in mijn voorbeeld is dat dus voorbeeld.nl) zo ver krijgt om SRS in te voeren is waarschijnlijk ook heel klein.

Het forwarden van e-mail is verder een veel voorkomende situatie. Je doet dat bijvoorbeeld als je van provider bent gewisseld of gewoon omdat je meerdere adressen in één mail account wilt ontvangen. Naar schatting 5-10% van alle mail adressen wordt zo geforward.

Ziggo heeft dus een keuze gemaakt om strak vast te houden aan de "hint" die de SPF status hun geeft voor de aflevering van e-mails in de SPAM folder. Dat pakt voor de zo getroffen Ziggo abonnees ongunstig uit.

Bij onder andere kpnmail maken ze een andere keuze waarbij ze een hogere prioriteit geven aan het afleveren van een e-mail in de inbox.

Lees je de e-mail via het POP3 protocol omdat je alle mails lokaal wilt archiveren dan heb je geen zicht op de spam folder die Ziggo voor je bijhoudt en ben je wellicht compleet onwetend over de e-mails die niet in jouw inbox belanden maar "verdwijnen" in jouw spam folder. Gebruik je het IMAP protocol dan zie je wel de spam folder maar is het weer lastig om alle mails consequent lokaal te archiveren.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

efok — Wed, 07 Feb 2024 04:04:55 GMT

Wat is nu je punt? SPF is een moderne standaard die helpt om spoofing van mail adressen te voorkomen. Belangrijk dus. Feitelijk doe je aan een soort spoofing met autoforward zonder SRS. Het is terecht dat Ziggo de -all honoreert. Dat zou ik ook doen, met een zelfs keiharde bounce. Ziggo is al coulant door het dan maar in de Spam te plaatsen.
Je zult bij je hoster van voorbeeld.nl moeten zijn voor SRS implementatie. Autoforwardimg zonder SRS, is anno 2024 ( terecht) kansloos.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

kb1 — Wed, 07 Feb 2024 08:14:37 GMT

@efok

SPF is een standaard uit 2000 die toen grotendeels is genegeerd vanwege zijn beperkingen.

Pas in combinatie met DKIM en DMARC is er een meer sluitend mechanisme, hoewel ook nog met beperkingen, waarvan we zien dat die nu steeds meer door mail providers wordt gebruikt.

Net als bij DMARC kan SPF een aanbeveling geven aan de ontvanger wat te doen met de ontvangen e-mail. Het is altijd aan de ontvanger (Ziggo in dit geval) om een eigen afweging te maken. Je kunt hierbij bijvoorbeeld ook een spam score van het spam filter betrekken of (zoals kpnmail doet) afwegen of een e-mail is geforward.

Waar DMARC meerdere factoren gebruikt voor zijn beoordeling en een specifiek advies doorkrijgt van de verzender wat te doen als de uitkomst niet positief is geeft SPF op zichzelf een status over een enkel aspect, die bovendien al door DMARC is verwerkt.

DMARC kan een positief resultaat geven als één van de twee pijlers, gebaseerd op DKIM of SPF, een positief resultaat geven. Dat is een bewuste keuze omdat er veel geldige redenen kunnen zijn waarom er onderweg iets fout kan gaan en het resultaat kan dan zijn dat de e-mail niet wordt afgeleverd.

Mijn punt - Ziggo is naar mijn waarneming sinds kort er toe overgegaan om een legacy sub-onderdeel van de modernere DMARC test een veel grotere impact te geven met als gevolg dat overigens correct beoordeelde mails niet meer in de inbox worden afgeleverd. Ze geven hierbij een discutabele voorrang aan dit sub-onderdeel ten koste van hun klanten.

Wat denk je zelf - als ik mijn (voorbeeld.nl) mail provider ga vragen om SRS in te voeren, wat is de kans op succes?

Als je dan zegt, dan ga je maar naar een andere provider, dan zou ik nu toch als eerste afscheid nemen van Ziggo mail.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

efok — Wed, 07 Feb 2024 08:43:03 GMT

SPF op zichzelf is een valide test, net als DKiM. DMARC test vervolgens de alignment. Het zijn 3 verschillende testen die elkaar aanvullen.

Ik zou SPF niet als “legacy” bestempelen.

Je kan het niet eens zijn met het beleid om een SPF -all record te honoreren, en met de voeten stemmen, maar vette kans dat je er elders weer tegenaanloopt. Beste is forward zonder SRS te vermijden, en gewoon direct je mail bij voorbeeld.nl ophalen. Waarom überhaupt een slecht geïmplementeerde forward?

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

kb1 — Wed, 07 Feb 2024 10:04:41 GMT

SPF wordt nuttig gebruikt als onderdeel van DMARC. Samen hebben ze toegevoegde waarde. Om dan daar bovenop SPF nog een keer extra te interpreteren op de legacy manier van 24 jaar geleden is minder vanzelfsprekend.

DMARC test inderdaad de alignment van een SPF pass en een DKIM pass. Dat voegt waarde toe aan zowel de DKIM als de SPF test. DMARC geeft daarna bewust een pass als maar een van de twee poten een pass oplevert. Er is zo meer tolerantie voor afleveren in plaats van afkeuren.

Het beoordelen van e-mail wat een provider zoals Ziggo doet is altijd een balans tussen vuiligheid tegenhouden en goede mails doorlaten. Je zult het nooit perfect doen - alle foute mails tegenhouden en alle goede mails doorlaten. De algoritmes die dat beslissen kun je telkens aanpassen. Daarbij bepaal je hoe acceptabel het is om sommige foute mails door te laten tegen hoeveel goede mails je tegenhoudt.

Ik ervaar op dit moment dat een (te) groot percentage goede mails wordt tegengehouden vanwege de extra test op SPF fail.

Een advies om forward zonder SRS te vermijden is leuk maar je doet die forward ook niet voor niets. In mijn waarneming worden 5-10% van alle e-mails geforward en het grootste deel daarvan (noodgedwongen omdat de betreffende provider het niet doet) zonder SRS.

Waarom een slecht geïmplementeerde forward - die vraag is voor de providers die geen SRS implementeren.

Je hebt ook niet zelf de volle controle om forwards te vermijden. Denk aan een situatie waar een e-mail wordt ontvangen en dan doorgestuurd aan meerdere ontvangers (een maillijst.) Als jouw adres op die maillijst staat kun je die forward niet ontlopen.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

MR_CHIP — Wed, 07 Feb 2024 10:33:20 GMT

wat is het doel van dit topic als je het er niet mee eens ben mail je met abuse@ziggo.com

de moderators hier kunnen er weinig aan doen/veranderen

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

kb1 — Wed, 07 Feb 2024 10:39:34 GMT

@MR_CHIP

Het doel is onder andere om duidelijk te maken waarom iemand opeens zo veel onterechte mails in de spam box krijgt. Ik ben begonnen bij abuse@ziggo.nl om duidelijk te krijgen waarom deze mails als spam werden beoordeeld. Na een paar mail wisselingen is dat duidelijk geworden zoals beschreven in dit topic.

Het gaat er niet zozeer om of je er mee eens bent of niet. Je bent als klant er het slachtoffer van en ik heb nog geen echt werkbare alternatieven gezien die de situatie kunnen verbeteren.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

MR_CHIP — Wed, 07 Feb 2024 10:41:09 GMT

gewoon niet mail diensten van een provider gebruiken die werken altijd krom/slecht/niet, mijn mening

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

Bert — Wed, 07 Feb 2024 20:50:38 GMT

"die werken altijd krom/slecht/niet"

Ik heb het consumenten Ziggo abonnement en mail ook zakelijk gebruikt van 2001 t/m 2012 en geen mail gemist en in totaal 5 uur zonder internet gezeten, tot nu toe ook alleen de Ziggo mail adressen privé gebruikt, met de laatste weken meer problemen met de spamfilter, dus altijd krom/slecht/niet herken ik in het geheel niet en herken ik ook niet van de tig klanten van Ziggo hier in de regio, waar ik het onderhoud uitvoerde van hun ICT.

Mijn mening: gebruik gerust een provider mailadres, als je verder geen ICT ervaring hebt en niet per se mails zakelijk langere tijd moet bewaren of goede backups van moet hebben.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

MR_CHIP — Wed, 07 Feb 2024 20:55:28 GMT

als je van mails zo nodig een backup moet hebben raad ik het mail programma mozilla thunderbird aan

voor de rest houd ik het lekker bij mijn Gmail adres

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

kb1 — Thu, 08 Feb 2024 08:23:25 GMT

@Bert, @MR_CHIP @efok

Een mail provider komt in vele maten en soorten. Je hebt kabel providers zoals Ziggo en KPN die e-mail er bij doen om volledig te zijn (alles in een hand). Je hebt internet providers die specialiseren in webhosting en e-mail. Je hebt "gratis" providers zoals Google en Microsoft. "gewoon niet mail diensten van een provider gebruiken die werken altijd krom/slecht/niet, mijn mening" zegt dan niet zo veel over welke soort provider je wilt vermijden.

Ik gebruik al meer dan 20 jaar Thunderbird, nadat voor de tweede keer in Outlook mijn inbox compleet met mails op onverklaarbare manier was verdwenen. Thunderbird is nog steeds superieur in het snel en efficiënt zoeken van mails en in het makkelijk "vlaggen" van e-mails en ik heb nooit meer omgekeken naar Outlook. Ik hoef niet meer telkens mails naar folders te verplaatsen om ze te bewaren en karakteriseren. Alleen een keer per jaar een oud deel van de inbox door Thunderbird laten archiveren, keurig gesorteerd op jaar of maand. Ik gebruik de add-on DKIM Verifier zodat ik direct in de gaten heb of een ontvangen e-mail wel of niet goed is beveiligd.
Overigens blijven er ook voor Thunderbird nog wel wensen.

Waarom maak ik gebruik van forwarding van mijn mails naar mijn Ziggo adres? Mijn primaire adres (die van "voorbeeld.nl") is bij iedereen bekend en die kan ik voor heel lange tijd behouden. Tot voor kort liep die provider nog wat achter, geen SPF, DKIM, DMARC, weinig opslagruimte. Daarom ben ik er toe overgegaan om door te sturen naar mijn Ziggo adres. Het Ziggo account staat zo ingesteld dat er standaard een reply-to naar mijn primaire adres wordt meegestuurd. Verder zijn er in Thunderbird twee identiteiten aan het account gekoppeld. De voorkeur identiteit verzendt met mijn primaire adres via de primaire mail provider. Zo wordt iedereen die in aanraking is gekomen met mijn Ziggo adres automatisch toch verwezen naar mijn primaire adres.

Nu mijn primaire provider weer meedoet met de huidige standaarden (helaas nog geen SRS :-() en Ziggo te veel mails naar de spam box leidt wordt het tijd om te heroverwegen of ik dat Ziggo adres nog wel nodig heb. Ik ben redelijk tevreden over Ziggo (afgezien van de veel te hoge tarieven). Ik wil echter wel de deur open houden om indien nodig te kunnen vertrekken.

Waarom doet het zoveel pijn dat goede e-mails in de spam folder worden afgeleverd? Ik maak gebruik van POP3 om de e-mail met Thunderbird te lezen. Daarmee kopieer je alle mail naar een lokale folder. Thunderbird verwijdert de mails bij Ziggo na een paar weken. Met een automatische BCC naar mijzelf heb ik zo een volledig overzicht van al mijn e-mails die ik dan periodiek nog een keer archiveer. POP3 leest echter alleen de inbox en niet andere folders bij de provider zoals de spam folder. Je komt er dus nooit achter als iets in de spam folder is gezet, die mails hadden net zo goed gebounced kunnen zijn.

Alternatief is om de e-mails met het IMAP protocol te lezen. Dat doe ik nu op mijn telefoon. IMAP laat de mails op de server staan en maakt hooguit een lokale kopie zodat je ook offline nog mails kunt lezen. Verwijder je een e-mail dan verdwijnt die niet alleen op de server maar ook de lokale kopie is daarna weg. Ik kan dus op de telefoon maar een paar weken terug kijken. Ik kan op de telefoon wel in de spam folder kijken maar die moet ik dan wel eerst openen, er is geen waarschuwing dat er iets nieuws in staat.

Het maken van een archief van alle e-mails is een uitdaging met IMAP. Je moet om te beginnen er voor zorgen dat e-mails op de server niet automatisch (of handmatig) worden verwijderd. Voor de spam folder kan dat niet want dat doet Ziggo periodiek voor je. Je moet voor de archief functie van Thunderbird lokale folders aanmaken omdat je anders op de Ziggo server zou archiveren. De Thunderbird Archief functie kun je helaas niet automatisch periodiek laten doen. Je moet dus zelf de discipline opbrengen om regelmatig te archiveren. En Thunderbird maakt geen kopie of archief van de spam folder.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

efok — Thu, 08 Feb 2024 12:03:56 GMT

Ik vind toch dat je het ingewikkeld maakt voor jezelf met die forwarding. Als voorbeeld.nl nu aan alle standaarden voldoet, dan haal je toch daar direct je mail op ‘met thunderbird. Thunderbird kan goed met meerdere mailboxen overweg.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

Bert — Thu, 08 Feb 2024 17:04:26 GMT

Ik gebruik Outlook vanaf begin 1997 en heb alle privémails en zakelijke vanaf januari 1997 erin staan en zoeken is tegenwoordig binnen een paar seconden in al die tig duizenden mails.

Het is gelukkig geen wedstrijd tussen Outlook en Thunderbird, beiden lieten wel eens wat vallen en hebben na een update ieder weleens hun problemen gehad, gelukkig de laatste jaren niet meer gezien bij beiden.

Bij beiden is een regelmatige backup van de mails de enige oplossing om in het geheel niets kwijt te raken, want in de loop van de 27 jaar heb ik alles wel een keer meegemaakt, van de PC / laptop enz. die volledig defect kan raken of het opslag medium als HDD / SSD crashte volledig en niet meer te repareren door de diepvries techniek of volledig sector by sector restore, zoals ik vele HDD's heb kunnen redden in al die jaren.

Ik gebruik nu Outlook POP met een kopie achterlaten en Windows Mail als IMAP voor de spam map issues, want het is zeer irritant dat dan weer wel en dan weer niet bank mails in de spam map komen en andere belangrijke en de spam soms tot 15 per dag in Postvak in.

Kies de mailsoftware waar je je het best bij voelt.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

kb1 — Fri, 09 Feb 2024 07:33:33 GMT

@Bert

"Ik gebruik nu Outlook POP met een kopie achterlaten en Windows Mail als IMAP voor de spam map issues".

Je hebt dus twee mail programma's, Outlook en Windows Mail, die je met verschillende protocollen dezelfde mail box laat lezen. Van de mail gelezen via IMAP gebruik je eigenlijk alleen de spam folder.

Ik ben zoiets nu ook aan het proberen in Thunderbird waar je dezelfde mail account kunt configureren met POP en nog een keer met IMAP. Thunderbird leest alle folders met IMAP maar heeft beperkingen wat je voor de spam folder kunt automatiseren. Je kunt wel inbox berichten automatisch laten kopiëren naar een lokale map. Ik moet nog nagaan of Thunderbird die lokale kopie ook automatisch kan markeren als gelezen. Ook zoek ik nog naar een optie die mails die ik aanraak in de inbox van Thunderbird niet als gelezen markeert op de server.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

efok — Fri, 09 Feb 2024 07:54:14 GMT

Je kunt in thunderbird een tijd/vertraging instellen na openen waarna een bericht pas als gelezen wordt gemarkeerd. Uit mijn hoofd weet ik niet waar dat zit, maar het kan wel.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

Bert — Fri, 09 Feb 2024 09:00:18 GMT

@kb1 Ik laat niets automatisch verplaatsen naar een andere map, want dan kun je nog honderden duizenden regels gaan maken, want spammers kunnen alle mogelijke afzenders invoeren als afzender, die er maar mogelijk zijn.

In Windows Mail verplaats ik handmatig en dat is, als het goed is, maar een enkele mail per week, alleen nu loopt het een beetje uit de hand.

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

kb1 — Fri, 09 Feb 2024 09:33:08 GMT

@efok

Gedrag Thunderbird bij lezen van een e-mail:

Dit stond bij account server instellingen maar is daar nu verdwenen, zowel bij POP als IMAP (recente Thunderbird versie 115.7).

Ergens vond ik een hint om Thunderbird about config instellingen aan te passen maar de reacties daar waren niet allemaal positief. Het lijkt er op dat Thunderbird dit heeft weggehaald uit de instellingen schermen.

Wat ik overigens graag zou willen is dat Thunderbird een IMAP mail alleen lokaal markeert als gelezen en dat niet op de server doet.

Bluemail op mijn telefoon heeft de optie om IMAP mail helemaal niet te markeren als gelezen. Daarmee verstoor ik niet het beeld wat je via een ander device ziet (of gelezen door een andere persoon).

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

efok — Fri, 09 Feb 2024 11:23:30 GMT

@kb1 Het kan nog steeds hoor, Instellingen -> Algemeen en dan doorscrollen naar Lezen en Weergave. (Dit is dan wel zowel lokaal als op de server, maar dat vind ik ook logisch. Gelezen is gelezen.)

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

Jacob — Wed, 14 Feb 2024 14:40:27 GMT

@kb1 en zo zijn we weer wat dagen verder en ik haak even aan.

Ik ben wel benieuwd naar de stand van zaken. Hoe is het nu? Kon je iets me de genoemde tips? Want je wil natuurlijk dat je mailbox naar behoren werkt. Dus we lezen graag even mee!

Re: Ziggo zet geforwarde e-mails met SPF: fail in de SPAM folder

kb1 — Wed, 14 Feb 2024 15:03:57 GMT

@Jacob

Een conclusie is dat de interpretatie van SPF -all door Ziggo sinds een aantal weken er voor zorgt dat er meer overigens correcte e-mails in de spam box worden afgeleverd. Dat geldt met name voor e-mails die eerder zijn doorgestuurd.

Als gebruiker kan ik deze SPF instelling van de verzender niet wijzigen. Ik heb maar ten dele controle over het ontvangen van doorgestuurde e-mails. Een technische oplossing - SRS invoeren voor e-mails die worden doorgezonden - is aan de provider die de e-mails doorstuurt.

In mijn geval werd e-mail van een van mijn andere mail adressen doorgestuurd naar mijn Ziggo adres. Ik heb de betreffende provider gevraagd of ze SRS willen invoeren. Daarop heb ik (nog) geen reactie gehad. Ik heb daarop besloten om de doorsturing daar op te heffen en die e-mail rechtstreeks bij deze provider op te halen. Effectief is het gebruik van mijn Ziggo adres nu vrijwel nul geworden.

Zijdelings is in dit topic gesproken over archivering van e-mail en het gebruik van het POP3 en IMAP protocol. Met POP3 kun je effectief de inbox archiveren, maar niet overige folders. IMAP heeft een aantal voordelen en je kunt er meerdere mee folders lezen maar archiveren is niet goed - betrouwbaar te doen. Voor archivering blijf ik het POP3 protocol gebruiken