Google misère

Beloning

De eerste held die ervoor zorgt dat de website van de NVSH weer opgenomen wordt in Google, krijgt van ons 2000 euro. Dat bedrag wordt verhoogd als de verrichte inspanningen daar aanleiding voor geven.
Waarom hebben wij dat er voor over, als organisatie die werkt zonder subsidie en met vrijwilligers? Omdat wij al ruim een half jaar bezig zijn met wat wij zijn gaan noemen de ‘Google misère‘. Al ons werk aan de meest uitgebreide site over seksualiteit is het laatste half jaar vrijwel tenietgedaan door een voor ons nog onbegrijpelijk verschijnsel. Hierover later meer.
Onze beloning voor je inspanningen is gezien ons financiële vermogen een hogere beloning dan de 10 miljoen dollar die Google uitlooft voor de beste applicaties op het android platvorm (Google phone).

Beetje boos op Google

Wij zijn een beetje boos op Google:

... want de NVSH-site heeft het altijd goed gedaan op het internet. Ook voordat Google een belangrijke rol op het internet ging spelen. Door Google konden meer internetters ons via logische zoektermen vinden. Maar om de één of andere reden werden ineens de belangrijkste doorgestuurde bezoekers bij ons weggehaald.
... wij vinden dat Google het (bijna)monopolie misbruikt door op ondoorzichtige wijze penalties uit te delen in de strijd tegen spam. De penalties kunnen we ons wel voorstellen, maar dat proces zou zonder onterechte slachtoffers moeten verlopen. Het lijkt er nu op dat Google onrecht doet aan de oorspronkelijke organische opzet van het internet. Google is dan een te dominante speler geworden.
... Google treedt op als een soort morele rechter. Als het verwijderen van de NVSH site uit de zoekresultaten een algoritmische oorzaak heeft, bijvoorbeeld om pornosites meer gescheiden te houden van andere. Dan zouden voorlichtingssites als de NVSH daar geen last van moeten hebben, of een eventuele fout zou rechtgezet moeten worden.
... omdat Matt Cutts van Google een onwaarheid lijkt te beweren. Google zou de berichtgeving naar webmasters in andere talen bevorderen. Het Trouw incident zou dit bevestigen. Er is echter naar de NVSH en naar medeslachtoffer Sensoa België nooit enige berichtgeving gestuurd, niet per e-mail en niet via de webmasterhulpprogramma's van Google.
... Google-gebruikers om onverklaarbare redenen bij unieke zoektermen niet bij ons terecht komen. Zo zou de NVSH goed moeten scoren op het begrip “seksuele systeem”(komt binnen de nvsh site voor op 55 pagina’s). Maar in de zoekresultatenlijst van Google staat de NVSH er niet bij. Wel staan er in de vrij korte lijst 15 verwijzingen naar sites die naar de NVSH site verwijzen of uit teksten van de NVSH citeren. Er is voor Google echt geen reden om de NVSH site niet bovenaan in de zoekresultaten op te nemen. De NVSH is de enige site die in de Nederlandse taal uitleg geeft aan het begrip.
... het lijkt erop of Google het onderscheid tussen porno en seksuele voorlichting, aids bestrijding, seksuele hulp of kennis over de seksuele mens niet wil maken.

Al met al lijkt Google de status te krijgen van een middeleeuwse feodale koning of een Big Brother. Het mag niet zo zijn dat een zoekmachine andere organisaties zo kan duperen zonder dat de getroffenen erachter kan komen wat de reden daarvan is.

De groei van de NVSH-site

Sinds 1998 aanwezig op het internet sinds 2002 actief onder het domein www.nvsh.nl
Eén van de eerste serieuze seksuele voorlichtingssites in Nederland
Sindsdien is zonder onderbreking aan de site gewerkt
Anno 2007: 361 uitgebreide Nederlandstalige informatiepagina’s
Informatieonderdelen in het Engels (156 pag.), Frans (166 pag.) en Russisch (96 pag.). Binnenkort wordt ook een Duitse vertaling gelanceerd.
Het bezoek aan het Nederlandse gedeelte groeide gestaag naar een hoogtepunt in januari 2007: ruim 300.000 unieke bezoekers per maand, die bij elkaar meer dan 1 miljoen pagina’s bekeken.
Google was op dat moment verantwoordelijk voor zo’n 70 % van het bezoek. Binnen de Google zoekresultaten scoorde de NVSH op verschillende belangrijke seksuele begrippen een top 10 notering. Met duizenden naar de NVSH site verwijzende links kwam dit overeen met onze populariteit op het internet.
We hebben verschillende zoekresulatenlijsten van Google uit die periode opgeslagen, hierop is goed te zien hoe de NVSH site destijds scoorde.
Niet overal waar we logischerwijs goed zouden scoren was dit ook de uitkomst van de algoritmen. Ook het tegenovergestelde vond plaats. Zo is er een column over Rita Verdonk in onze rubriek seksuele politiek die lange tijd binnen Google goed scoorde. ‘Rita Verdonk’ kwam op de hele NVSH website slechts op één pagina voor, er waren geen noemenswaardig belangrijke inbound links naar deze pagina. Voor Google was er echt geen reden om de NVSH column over Rita hoog in de zoekresultaten op te nemen.
In het begin van 2007 ontving de NVSH dagelijks tientallen e-mails van bezoekers met vragen. Deze werden door een team van deskundigen binnen 24 uur gratis beantwoord. Daarmee had de NVSH de enige professionele gratis seksuele e-mail hulpdienst in Nederland.

De val van de NVSH site

Begin februari 2007 doken de totale bezoekcijfers binnen een paar dagen tijd met ruim 50 procent naar beneden. Oorzaak: Google leverde zo’n 70% minder bezoekers. De NVSH scoorde niet langer op de meest relevante zoekwoorden binnen Google. Opvallend was dat alle porno-gerelateerde woorden wel hun positie in Google behielden of zelfs licht stegen in de zoekresulatenpagina’s. Het aantal vragenstellers daalde tot slechts gemiddeld 1 per dag.

Weet jij waar het probleem zit?

Nogmaals, meedenken en het probleem oplossen levert 2000 euro op.

Als het probleem bij de NVSH zit
Zien we dus iets over het hoofd en zijn we nog steeds onderwerp van een of andere Google penalty. Waarom heeft Google ons dit dan niet op één van de hieronder beschreven momenten medegedeeld? Dit is toch in toenemende mate onderdeel van hun policy?
We kennen de Google kwaliteitseisen uit ons hoofd. We hebben de NVSH site tal van keren doorgelopen, alle onzichtbare links zijn verwijderd en we hebben toch echt het idee dat we ons heel netjes aan alle overige kwaliteitseisen houden. We hebben zelfs met tegenzin onze overzichtelijke sitemap van ruim 350 Nederlandstalige links opgesplitst naar verschillende kleinere pagina’s met minder dan 100 links, precies zoals Google voorschrijft.

Als het probleem bij Google zit
Google worstelt misschien met de vraag hoe de pornosites gescheiden te houden van alle overige sites. Hierbij maakt Google fouten, waardoor de NVSH site ten onrechte als porno site geïndexeerd wordt. Dan zou het probleem dus alleen opgelost kunnen worden wanneer er bij Google een algoritmische wijziging plaats vindt. Of kan de NVSH site ook handmatig (door een Google medewerker) teruggezet worden zodat het zijn oude posities in de resultaten pagina’s herkrijgt?

Feitenrelaas

Dit is wat we tot nu toe ondernomen hebben:

Pornbug in de VS

Toen eind november 2006 Google zijn algoritmen van een update voorzag ontstond er een zodanige verschuiving in de Engelstalige zoekresultaten dat tal van bekende sex bloggers, sex winkels en pornogerelateerde websites niet meer te vinden waren. De pornobug is toen door Google rechtgezet.
Hier onder hebben we een aantal links opgenomen waar terug te lezen is wat er destijds gebeurde. Wellicht worden bepaalde algoritmen eerst in het Engels toegepast en later pas ook op andere talen losgelaten. Maar hoe komt het dan dat alleen de NVSH site binnen het Nederlandse taalgebied hinder ondervindt van een algoritmische wijziging? Of zijn er ook andere sites die grote verschuivingen waarnemen? Wat moeten wij veranderen of wat zou Google moeten veranderen? Want onze site heeft weliswaar wel passende pornografische afbeeldingen maar is absoluut geen pornografische site.

Links met meer informatie over de pornbug
Eerste meldingen in blogs:
comstock films, met comment matt cutts
pretty dumb things
babeland
Artikelen n.a.v.:
mediashift (beste artikel)
search enigine land

Mislukt contact met Google
Het eerste wat we vermoedden was een penalty, maar aangezien er nooit gebruik was gemaakt van echte spamachtige trucjes was een penalty niet logisch.
Het webteam wist aanvankelijk ook niet waar ze naar moest zoeken. Na een snelle scan werd er niets merkwaardigs gevonden. We hebben toen heel naïef geprobeerd met Google in contact te komen. Eerst per telefoon en vervolgens via de e-mailservice. Google beantwoordt de telefoon echter met een bandje en de e-mailservice stuurt uitsluitend geautomatiseerde berichten retour (afzender Marc). Dit is natuurlijk anders wanneer je iemand kent bij Google of wanneer je via Google wilt adverteren.
(eerste e-mail aan Google)

Contact met ander slachtoffer
In een speurtocht over het internet om te zien of ook andere sites getroffen waren, ontdekten we dat Sensoa (de grootste Belgische voorlichter) ook uit de Google zoekresultaten verdwenen was op alle trefwoorden behalve meer pornogerelateerde zoekwoorden. We hebben ze gebeld. Ze hadden het zelf nog niet ontdekt maar het klopte wel. We hebben de afspraak gemaakt om samen te werken waar mogelijk.

Post op Google webmaster help
‘Google webmaster help’ is de plek die Google adviseert om eventuele problemen met de zoekmachine op te nemen. De NVSH heeft twee keer een post geplaatst. Het leverde niets op.

1500 onzichtbare links en een ‘reinclusion request’
Door onjuist gebruik van Dreamweaver bleek de NVSH site helemaal vol te zitten met onzichtbare links. Door het veelvuldig gebruik van bibliotheekitems waren de onzichtbare links exponentioneel vermenigvuldigd. We hebben ze nooit geteld maar het totale aantal heeft waarschijnlijk ergens rond de 1500 gelegen, verdeeld over ruim 600 pagina’s, sommige pagina’s bevatten meer dan tien onzichtbare links.
Bij Sensoa ontdekten ze dat de site gehacked was.
De aanvankelijke veronderstelling dat we een penalty hadden, leek dus juist te zijn. De NVSH heeft de website opgeschoond en een ‘reinclusion request’ (de reinclusion tekst) gedaan. We hadden eigenlijk verwacht dat het nu allemaal wel weer goed zou komen.

Post op de website van Matt Cutts
In dezelfde periode dat Sensoa en de NVSH van een penalty voorzien werden, heeft Google ook de website van Trouw gepenaliseerd. Het Trouw artikel vind je hier. Matt Cutts (Head of Google's Webspam team) heeft het Trouw incident gebruikt om aan te tonen dat Google steeds meer ook in andere talen dan het Engels communiceert.
Toen er acht weken na de reinclusion geen enkele verandering waar te nemen was, hebben Sensoa en de NVSH, een gezamenlijke reactie geplaatst onder het artikel van Matt Cutts . Die verbeterde communicatie van Google viel immers te nuanceren en natuurlijk hoopte we aandacht te krijgen voor onze eigen sites. De reactie is nooit opgenomen door Matt Cutts. Je kunt de tekst hier lezen.

Tweede reinclusion requests accent op veranderd algoritme
Een ‘reinclusion request’ heette inmiddels een ‘reconsideration request’.
We hebben een tweede ingediend waarin ook aandacht voor een eventueel neveneffect van een wijziging in de Google algoritmen (tekst reconsideration tekst). We vonden het immers zo merkwaardig dat zowel Sensoa als de NVSH aanhoudend goed scoorden op pornogerelateerde woorden. Het leek wel of Google probeerde een scheiding aan te brengen tussen zoekresultaten van sites met porno en zoekresultaten van sites zonder porno. Zo gezien zou een porno zoekwoord, sites met porno mogen opleveren maar bij ‘niet’ porno zoekwoorden mogen juist ‘geen’ sites met porno verschijnen. Google zou ons dus wel eens per abuis als pornosite geïndexeerd hebben. Ook n.a.v. van de tweede reconsideration request hebben we nooit enige verandering waargenomen.
Meer weten over reconsideration requests zie Matt Cutts en de Google website.

NVSH site wordt voor 5 zoekwoorden handmatig teruggezet
Sensoa is een grote gesubsidieerde bekende Vlaamse organisatie met veel contacten, zij hebben op een gegeven moment een e-mail adres van één van de Google managers in handen gekregen. Sensoa heeft toen een gezamenlijke e-mail gestuurd. Deze brief heeft voor Sensoa de oplossing gebracht. De NVSH heeft een hele kleine verandering in de zoekresultaten waargenomen. Terwijl Sensoa zijn oude plekken in de zoekresultaten verkreeg merkten wij een verandering in slechts een vijftal zoekwoorden: seksuele, voorlichting, informatie, hulp en hervorming en combinaties tussen deze vijf. Precies de kernbegrippen die opgenomen zijn in de e-mail naar Google België en de woorden die in de ‘title-tag” van de homepage voorkomen.
Dit is een cruciaal moment in het hele verhaal, want er is hier daadwerkelijk iets veranderd door Google. Er is iemand die minimaal een moment aandacht heeft gehad voor onze zaak en handmatig de NVSH website terug gezet heeft op een vijftal zoekwoorden.

Tweede brief naar Google België
Vanaf dit moment stonden we er alleen voor. We hebben met hulp van Sensoa nog wel een tweede e-mail gestuurd naar de Belgische Google manager. Het antwoord geeft geen aanwijzing. Behalve dat we Google kunnen betalen (AdSence gebruiken) om onze positie te verbeteren en dat de Google zoekresultaten organisch tot stand zijn gekomen! De zin: “Het organisch tot stand komen van de zoekresultaten” heeft ons vanaf dat moment vaak bezig gehouden.

Vragen:

Is het mogelijk dat de Belgische manager met betrekking tot alleen vijf zoekwoorden de NVSH site handmatig teruggezet heeft en zou de hele NVSH site handmatig teruggezet kunnen worden?
Is er in 2007 een algoritmische wijziging geweest waardoor Google de NVSH anders zou categoriseren? Geldt dit alleen voor de NVSH of hebben andere sites hier ook last van?
Is het mogelijk dat sites met expliciete plaatjes anders gecategoriseerd worden dan voorheen? De NVSH gebruikt foto’s met naakte of seksende mensen wanneer dit toegevoegde waarde heeft. In ons onderdeel “De kunst van het vrijen” worden bij alle verschillende seksuele handelingen expliciete foto’s gebruikt.
Is het mogelijk dat de NVSH site nog steeds onderwerp is van een penalty? En waarvoor hebben we die penalty dan gekregen? Waarom zou Google ons niet geïnformeerd hebben op één van de bovenstaande contactmomenten?

Meer weten over de geschiedenis van de NVSH? Lees de artikelen over de nvsh