Referral Spam: een nieuwe plaag?

De mensen onder ons die zich bezig houden met bloggen, fansites en dergelijke en zelf hun statistieken bijhouden via Google Analytics zullen het de laatste tijd wel gemerkt hebben. Plots zijn de bezoekersaantallen gestegen. Fijn, denk je. Eindelijk nieuwe bezoekers die de weg naar mijn site hebben gevonden. Tot je wat dieper gaat graven in de statistieken. Dan valt plots op dat de nieuwe bezoekers vooral uit Rusland komen en er veel nieuwe referrals (verwijzingen) te vinden zijn in de stats.

Referral Spam

Wat is referral spam nu eigenlijk? Referral spam is het geautomatiseerde bezoeken van websites met als doel van het injecteren van een bepaalde referral in de Google Analytics account. Met het automatisch injecteren van referrals in de Google Analytics hopen die bedrijven dat webmasters naar de verwijzende URL gaan surven. Waardoor de “spammer” zijn bezoekersaantallen ziet stijgen.

Eerder schreef ik al een bericht over Semalt. Eén van de eerste websites die afgelopen jaar de trend in gang stak van referral spam. Door deze website te blokkeren als bezoeker van mijn websites leek het probleem van misleidende statistieken weg gewerkt te zijn. Tot in december de echte vloedgolf kwam.

Herman van Dailybits postte afgelopen maand op de bedrijfsblog van Intracto nog een interessant artikel over de gevolgen van deze referral spam. Tevens geeft Herman ook nog enkele nuttige tips om dergelijke spam te blokkeren in Google Analytics en via je .htaccess. Naar aanleiding van het bericht op de Intracto-Blog heb ik ondertussen ook een update van mijn .htaccess-bestanden uitgevoerd. Samen met de aanpassingen in Google Analytics zorgt deze aanpassing voor een gezuiverde blik op je websitestatistieken. Doordat je een groot deel referral spammers blokkeert merk je ook veel makkelijke nieuwe potentiële daders op in je statistieken.

.htaccess

Een .htaccess-bestand is een simpel tekstbestand waarmee je de webserver handelingen kan laten uitvoeren of (server)instellingen kan omzeilen of wijzigen. De handelingen die je bv door een .htaccess bestand kan laten uitvoeren zijn de beveiliging van mappen op je server, eigen foutpagina’s aanmaken of pagina’s doorverwijzen. Maar dus ook referral spam tegen houden. In het bericht over Semalt gaf ik al een mogelijkheid mee om deze websites te blokkeren. Deze werkwijze is doenbaar bij enkele websites maar niet aan te raden bij, zoals in dit geval, tientallen sites die moeten geblokkeerd worden.

Om de websites die je Google Analytics bevuilen te blokkeren kan je onderstaande code invoegen in je .htaccess bestand in de root-directory van je hostingaccount. De code bevat de meest voorkomende referral spammers die tot vandaag de Google Analytics bevuilde met referral spam. Het is dus best mogelijk dat na publiceren van deze blogpost er weer enkele nieuwe spammers zijn opgedoken. Aan de hand van mijn Google Analytics zal ik proberen om de code zo accuraat mogelijk bij te houden.

Update 14/01/2015

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*backgroundpictures\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*embedle\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*extener\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*fbfreegifts\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*joinandplay\.me/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*joingames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*musicprojectfoundation\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*myprintscreen\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openfrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openmediasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*zazagames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*darodar\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.co/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*econom\.co/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*priceg\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*blackhatworth\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline\.com/ [NC]
RewriteRule ^(.*)$ – [F,L]
</IfModule>

Bovenstaande code blokkeert de url van de referral spammer. De [NC] tag zorgt er voor dat de ingevoegde waarde “not case sensetive” is. In de “RewriteRule” geeft de [F] tag een 403-Forbidden Error, terwijl de [L] tag ervoor zorgt dat de bewerking wordt gestopt. Je kan de “RewriteRule” ook nog aanpassen met enkele andere waarden als volgt.

RewriteRule (.*) http://%{REMOTE_ADDR}/$ [R=301,L]

Met bovenstaande code zorg je ervoor dat je in plaats van een 403 error stuurt. Een 301 error stuurt naar de URL de je blokkeert in je .htaccess bestand.

RewriteRule .* %{HTTP_REFERER} [R,L]

Bovenstaande code zorgt er dan weer voor dat je de bezoekende URL niet toelaat op jouw website maar hem terugstuurt naar zijn eigen URL.