Tra il codice e la realtà

E’ sempre molto interessante avere dei riferimenti numerici relativi al “giganti” del software: sapere quanti e quali server utilizzano, di quanta banda hanno bisogno, che tecnologie adottano, quanti sviluppatori hanno, etc etc è un modo irrinunciabile per rimanere a contatto con la realtà “che conta” a livello internazionale.

In particolare l’universo di Google con le tecniche utilizzate, i suoi approcci innovativi (dalla GUI allo sviluppo web, dal cloud computing al software e agli algoritmi utilizzati e spesso rilasciati pubblicamente) sono oltremodo importanti, perché spesso anticipano dei trend che poi investiranno e saranno “interiorizzati” dagli altri ed inevitabilmente utilizzati massivamente in virtù della assoluta qualità.

Ho letto quindi con piacere un recente articolo che, introducendo il nuovo indice delle ricerche (caffeine), fornisce qualche numero sul volume delle pagine indicizzate:

Google indicizza centinaia di migliaia di GB al giorno!

Mi sembra davvero una cifra enorme, anche per Google… quale complessità nel memorizzarla e sopratutto nel ricercarci all’interno !

Tra le linee guida di google più “profonde” c’è ovviamente il fatto di evitare il cloaking, ovvero di presentare a googlebot contenuti differenti rispetto a quelli presentati ad un normale utente. Ci sono però alcuni casi in cui presentare un contenuto differente sulla base dello user-agent, non è affatto un “imbroglio”, ma è anzi un modo per fornire migliori informazioni o addirittura una necessità in qualche caso.

In particolare può essere necessario fornire contenuti differenti in base al browser utilizzato (ad esempio in mobilità o con una risoluzione molto bassa) o in assenza di plugin (come flash) o ancora in seguito ad informazioni ottenute automaticamente (tramite cookies) sull’utente.

Altro caso tipico in cui una generazione “specializzata” dei contenuti è utilizzata in modo lecito è legato alla lingua o alla localizzazione geografica dello user-agent. Si tratta di tecniche ormai diffusissime che possono essere estremamente utili e funzionali per gli utenti, anche capisco che possano mettere in difficoltà sistemi puramenti automatici di crawling.

Purtroppo però la posizione di google rispetto all’utilizzo di tali tecniche non è completamente chiaro e mette quindi in grosse difficoltà i webmaster che devono valutare (paradossalmente) se implementare funzionalità a vantaggio degli utenti con il rischio di essere penalizzati dai bot convinti che tali funzionalità siano implementate a loro vantaggio.

Tale problematica ha dato luogo a lunghi dibattiti tra gli addetti ai lavori, tra i quali va senz’altro letto questo post su seomoz blog.

Fortunatamente c’è anche un post sul blog ufficiale di google che fa una buona chiarezza sulla vicenda; lo spirito della “legge” di gogle è estremamente ragionevole:

Googlebot should see the same content a typical user from the same IP address would see.

Ovviamente non è chiarissimo cosa voglia dire “the same content”: identico al byte ? identico solo nei contenuti (ad esempio non nella pubblicità) ? uguale in una buona percentuale del sito ? Sinceramente non credo che sia possibile determinare in mo affidabile al 100% nessuna procedura completamente automatica, visto che mi vengono sempre in mente casi “leciti” estremamente difficili da estrapolare. Ma almeno lo spirito mi sembra estremamente condivisibile.