Video: I tuoi pregi ed i tuoi difetti (Novembre 2024)
Per ricevere le mie notizie, eseguo spesso la scansione di Google News, che aggrega articoli da tutto il mondo in base a ciò che il "robot" ha determinato è di tendenza. È tutto su ciò che è di tendenza. In genere manca le ultime notizie e ignora totalmente i commenti importanti, come la mia rubrica. Invece, sembra preferire andare ai link non funzionanti, per cui intendo il Wall Street Journal , che richiede un abbonamento per leggere.
Oggi è un caso emblematico. C'è stata una notizia di rottura del CES sulla Dish Network che faceva un'offerta per acquistare Clearwire. Ma invece di collegarsi a una qualsiasi delle storie correlate da siti Web gratuiti e leggibili, Google decide che la storia principale dovrebbe provenire dal Wall Street Journal .
In passato, Google aveva una sorta di accordo che consentiva agli utenti di leggere almeno il paragrafo principale, o persino l'intero articolo, prima di essere bloccato dal paywall. A meno che tu non conosca un trucco di bypass (discusso di seguito), questo non si applica più. Ora ti imbatti nel paywall e il gioco è fatto. Suppongo che gli attuali abbonati lo superino, ma mi chiedo come i bot di Google riescano a trovare la storia in primo luogo. Google sta pagando? Ne dubito. Quindi ci deve essere una sorta di backdoor per i robot di Google, giusto?
Questo è falso e fa un disservizio agli utenti di Google. Google attraversa tutti questi problemi per sconfiggere le persone che cercano di giocare al sistema, ma consente al Wall Street Journal di fare questa acrobazia? Questo è essenzialmente un pagamento per gli abbonamenti al Wall Street Journal . È quello che vuole Google? Google sta ottenendo un taglio?
Google non può essere così difficile semplicemente risolvere questo fastidio. Ci vorrebbe un minuto, cinque cime. È troppo lavoro?
Se un'azienda ha un paywall integrato nel suo servizio, Google non dovrebbe assolutamente cercare nel sito. I robot dovrebbero sapere che esiste un paywall ed evitare semplicemente la ricerca. E, sì, vorrei una spiegazione su come esattamente i robot possono cercare in un sito bloccato da un paywall. È un mistero.
Un paywall dovrebbe essere esattamente lo stesso di un "robots.txt" che dice al bot del crawler di andare via. Ma qualcosa è sospetto sulla relazione WSJ- Google. Il modo più semplice per uccidere tutti i bot è un meta tag nel file robots.txt, quindi: .
Il WSJ invece blocca specificamente alcune sottodirectory, ma apparentemente non tutte. E ancora più strano, se fai una ricerca su Google News per lo stesso identico articolo, invece di fare semplicemente clic sul link nella carrellata, ottieni l'articolo attraverso qualche altro meccanismo.
Sfido i lettori più tecnici là fuori a capire cosa sta succedendo con questi due esaminando il file robots.txt impiegato dal WSJ . Un documento pubblico è disponibile qui.
In ogni caso, i siti hanno vincite per motivi finanziari. Se vogliono giocare con i loro contenuti è una cosa, ma dovrebbe essere bandito dai risultati di ricerca nello stesso modo in cui Google cerca di contrastare le persone che cercano di giocare al sistema. Google proibirà a un blogger sfortunato di lasciarsi andare per un comportamento impreciso. Che ne dici di trattare con siti più grandi allo stesso modo?
Puoi seguire John C. Dvorak su Twitter @therealdvorak.
Più John C. Dvorak:
Vai fuori tema con John C. Dvorak.
VISUALIZZA TUTTE LE FOTO IN GALLERIA
