Big Daddy

Big Daddy is de code naam van de nieuwe infrastructuur van de google zoekmachine. Begin januari 2006 is Big Daddy operationeel geworden om de nieuwe structuur te testen. Door het IP adres van Big Daddy in je browser in te vullen kun je al gebruik maken van de nieuwe zoektechniek. Wat Big Dady precies is blijft onbekend. Sommige zeggen dat het een nieuw algoritme is. Andere praten over een nieuwe fundering waar het geheel op rust.

Bedoeling van deze update is om spamming tegen te gaan en relevante resultaten te presenteren aan de surfers.

Crawl Caching Proxy

Big Daddy is een caching systeem dat bedoeld is om het dataverkeer per website te verlagen. Door het groeiende aantal diensten van google komen er steeds meer en meer google spiders online. Omdat al deze spiders dezelfde pagina's indexeren hebben ze een caching proxy in het leven geroepen.

Big Daddy doet niets meer en niets minder dan een tijdelijke kopie van je website opslaan op een server van google. Deze tijdelijke pagina wordt vervolgens gebruikt voor alle google spiders om te indexeren. Stel dat er 4 spiders zijn die ieder een 5 tal verzoeken plaatsen om je website op te vragen. dat wil zeggen dat je in de oude situatie 5 x 4 = 20 zou ontvangen van google. In de nieuwe situatie is er maar 1 spider die direct een verzoek doet waardoor het aantal voor je dataverkeer maar op 5 uit komt. Vervolgens gebeuren de rest van de verzoeken zich intern in het systeem van google.

Meer informatie over Big Daddy:

http://www.mattcutts.com/blog/crawl-caching-proxy/