Accueil Médias sociaux Exclure une page Web ou un site des moteurs de recherche à l'aide d'un fichier texte Robots

Exclure une page Web ou un site des moteurs de recherche à l'aide d'un fichier texte Robots

Vidéo: Comment OPTIMISER LE CRAWL de Google ? - Hacking SEO 2025

Vidéo: Comment OPTIMISER LE CRAWL de Google ? - Hacking SEO 2025
Anonim

Vous pouvez utiliser un fichier texte de robot pour empêcher un moteur de recherche d'explorer votre site Web ou une partie de votre site. Par exemple, vous pouvez avoir une version de développement de votre site Web où vous travaillez sur les modifications et les ajouts pour les tester avant qu'ils ne deviennent une partie de votre site Web en direct. Vous ne voulez pas que les moteurs de recherche indexent cette copie "en cours" de votre site Web car cela entraînerait un conflit de contenu dupliqué avec votre site Web actuel. Vous ne souhaitez pas non plus que les utilisateurs trouvent vos pages en cours. Vous devez donc empêcher les moteurs de recherche de voir ces pages.

Le travail du robot texte consiste à donner aux moteurs de recherche des instructions sur ce que ne devrait pas être sur votre site Web. Ceci est un fichier texte simple que vous pouvez créer en utilisant un programme comme le Bloc-notes, puis enregistrez avec le nom de fichier robots. SMS. Placez le fichier à la racine de votre site Web (par exemple www. votredomaine .com / robots.txt), où les araignées s'attendent à le trouver. En fait, chaque fois que les moteurs de recherche viennent sur votre site, la première chose qu'ils recherchent est le fichier texte de votre robot. C'est pourquoi vous devriez toujours avoir un fichier texte robots sur votre site, même s'il est vide. Vous ne voulez pas que la première impression des araignées de votre site soit une erreur 404 (l'erreur qui survient lorsqu'un fichier est introuvable).

Avec un fichier texte robots, vous pouvez exclure sélectivement des pages, des répertoires ou le site entier. Vous devez écrire le code HTML juste, ou les araignées l'ignorent. La syntaxe de commande que vous devez utiliser provient du protocole d'exclusion des robots (REP), qui est un protocole standard pour tous les sites Web. Et c'est très exact. seules les commandes spécifiques sont autorisées, et elles doivent être écrites correctement avec un emplacement spécifique, des majuscules / minuscules, de la ponctuation et des espaces. Ce fichier est un endroit où vous ne voulez pas que votre webmestre soit créatif.

Un fichier texte de robot très simple pourrait ressembler à ceci:

User-agent: * Disallow: / personal /

Ce fichier texte de robots indique à tous les robots des moteurs de recherche qu'ils sont les bienvenus pour explorer n'importe où sur votre site Web sauf pour le répertoire nommé / personal /.

Avant d'écrire une ligne de commande (telle que Disallow: / personal /), vous devez d'abord identifier le (s) robot (s) auquel vous vous adressez. Dans ce cas, la ligne User-agent: * s'adresse à tous les robots car elle utilise un astérisque, connu sous le nom de caractère caractère générique car il représente n'importe quel caractère. Si vous souhaitez donner des instructions différentes à différents moteurs de recherche, comme le font de nombreux sites, écrivez des lignes d'agent utilisateur séparées, suivies de leurs lignes de commande spécifiques.Dans chaque ligne User-agent:, vous remplacez le caractère astérisque (*) par le nom d'un robot spécifique:

User-agent: Googlebot attirerait l'attention de Google.

User-agent: Slurp répondrait à Yahoo!.

Utilisateur-agent: MSNBot adresserait Microsoft Live Search.

Notez que si le fichier texte de votre robot contient des instructions User-agent: * ainsi qu'une autre ligne User-agent: spécifiant un robot spécifique, le robot spécifique suit les commandes que vous lui avez données individuellement au lieu de . instructions plus générales.

Vous pouvez saisir quelques commandes différentes dans un robot. Fichier txt:

  • Hors site entier. Pour exclure le robot de l'ensemble du serveur, utilisez la commande:

    Disallow: /
    

    Cette commande supprime toutes les pages Web de votre site de l'index de recherche, alors faites attention pas > Pour ce faire, sauf si c'est ce que vous voulez vraiment. Exclusion d'un répertoire.

  • (Attention, généralement, vous voulez être beaucoup plus sélectif que d'exclure un répertoire entier.) Pour exclure un répertoire (y compris tout son contenu et ses sous-répertoires), placez-le dans les barres obliques: Disallow: / perso /

    Hors page.
    
  • Vous pouvez écrire une commande pour exclure uniquement une page particulière. Vous utilisez uniquement une barre oblique au début et devez inclure l'extension de fichier à la fin. Voici un exemple: Disallow: / private-file. htm

    Diriger les araignées vers votre carte du site.
    
  • En plus de Disallow:, une autre commande utile pour vos efforts SEO spécifie où le robot peut trouver votre plan du site - la page contenant des liens dans votre organisation de site, comme une table des matières: Plan du site: // www. ton domaine. com / sitemap. xml

Il convient de noter qu'en plus des commandes listées précédemment, Google reconnaît également Allow. Ceci est applicable à Google seulement et peut confondre d'autres moteurs, vous devriez donc éviter de l'utiliser.

Vous devez toujours inclure à la fin du fichier texte de votre robot une sitemap: ligne de commande. Cela garantit que les robots trouvent votre carte du site, ce qui les aide à mieux naviguer sur votre site afin que davantage de votre site soit indexé.

Quelques remarques sur la syntaxe du fichier texte des robots:

Les commandes sont sensibles à la casse, vous avez donc besoin d'un D majuscule dans Disallow.

  • Il devrait toujours y avoir un espace après les deux points après la commande.

  • Pour exclure un répertoire entier, placez une barre oblique

  • après ainsi que avant le nom du répertoire. Si vous utilisez une machine UNIX,

  • tout est sensible à la casse. Tous les fichiers non spécifiquement exclus sont disponibles pour spidering et indexation.

  • Pour consulter la liste complète des commandes, des noms de robots et des instructions sur l'écriture de fichiers texte de robots, accédez aux pages Robot Web.

Pour plus de sécurité, faites-le partie de la maintenance hebdomadaire de votre site afin de vérifier le fichier texte de votre robot. C'est un commutateur marche / arrêt si puissant pour les efforts de référencement de votre site qu'il mérite un coup d'oeil régulier pour s'assurer qu'il est toujours "sur" et fonctionne correctement.

Exclure une page Web ou un site des moteurs de recherche à l'aide d'un fichier texte Robots

Le choix des éditeurs

Comment travailler avec Photoshop CS6 Images brutes - mannequins

Comment travailler avec Photoshop CS6 Images brutes - mannequins

Certaines caméras capturent des images dans des formats bruts. Photoshop CS6 peut traiter ces images dans des images formatées. Il vous permet également de travailler avec eux de différentes manières que les images déjà traitées. Voici quelques détails sur le traitement des images brutes par Photoshop. Préférences Camera Raw: Voici les détails de ces préférences: Quand une Camera Raw ...

Comment utiliser Photoshop CC Fusionner vers HDR Pro - mannequins

Comment utiliser Photoshop CC Fusionner vers HDR Pro - mannequins

Lorsque vous avez les expositions de que vous voulez créer votre chef-d'œuvre HDR, vous devez les assembler en utilisant la fonction Fusionner vers HDR Pro dans Photoshop CC. Vous pouvez ouvrir Merge to HDR Pro soit dans le menu Fichier → Automatiser de Photoshop, soit vous pouvez sélectionner les images à utiliser dans Bridge et utiliser Bridge ...

Comment utiliser les masques rapides dans Photoshop CS6 - les mannequins

Comment utiliser les masques rapides dans Photoshop CS6 - les mannequins

Comme vous pouvez probablement le deviner d'après le nom , Les masques rapides de Photoshop CS6 vous permettent de créer et de modifier des sélections rapidement. Bien que vous ne créiez pas vraiment un masque de produit final en soi, la façon dont vous allez obtenir votre sélection est "semblable à un masque. "Ils sont également conviviaux, car ils vous permettent de voir votre image pendant que vous travaillez. ...

Le choix des éditeurs

Bitmap et images vectorielles dans Adobe Photoshop CS5 - mannequins

Bitmap et images vectorielles dans Adobe Photoshop CS5 - mannequins

Capacité de photoshop Creative Suite 5 à utiliser à la fois l'image bitmap et Les images vectorielles vous offrent, en tant que concepteur, des opportunités incroyables en combinant les deux technologies. Vous avez peut-être déjà découvert que Photoshop fonctionne un peu différemment de la plupart des autres applications. Pour créer ces gradations douces d'une couleur à l'autre, Photoshop tire parti des pixels. ...

Capturer des images à fusionner vers HDR Pro - mannequins

Capturer des images à fusionner vers HDR Pro - mannequins

Pour fusionner plusieurs expositions en une image HDR en utilisant Photoshop CC, vous devez avoir plusieurs expositions avec lesquelles travailler. Il y a deux façons de relever le défi: Vous pouvez prendre une série d'expositions, ou photographier une image brute et faire plusieurs copies avec différentes valeurs d'exposition. Si vous voulez absolument le meilleur ...

Modifiez le pinceau dans le panneau Outils Photoshop CS5 - les nuls

Modifiez le pinceau dans le panneau Outils Photoshop CS5 - les nuls

Regroupés dans le panneau Outils de Photoshop Creative Suite 5 sont les outils utilisés pour peindre et retoucher des images. Lorsque vous cliquez pour sélectionner différents outils de peinture, notez le menu Pinceau (deuxième à partir de la gauche) dans la barre des options. Cliquez sur la flèche pour ouvrir le sélecteur Pinceaux prédéfinis. Utilisez le curseur Diamètre principal pour ...

Le choix des éditeurs

Comment utiliser plusieurs styles avec CSS3 - mannequins

Comment utiliser plusieurs styles avec CSS3 - mannequins

Comprendre les règles d'héritage dans CSS3 vous aide à créer des sites intéressants nécessitant un minimum de maintenance. En suivant ces règles, lorsque la maintenance est requise, vous devez normalement effectuer un seul changement, plutôt que de modifier individuellement des centaines d'éléments. Cela vaut la peine d'expérimenter, pour que vous puissiez comprendre tous les effets de l'héritage ...

Comment utiliser l'éditeur HTML CoffeeCup - les nuls

Comment utiliser l'éditeur HTML CoffeeCup - les nuls

Comme outil principal des pages Web WYSIWYG, CoffeeCup HTML Editor possède toutes les fonctionnalités de base importantes dont vous avez besoin pour créer des pages Web de base. En utilisant ces fonctionnalités, vous pouvez créer et éditer des pages Web sans voir les balises HTML, glisser et déposer des liens vers d'autres sites Web sans taper l'URL ou le chemin, couper et coller ...

Comment utiliser l'espace blanc dans votre conception de site Web - les nuls

Comment utiliser l'espace blanc dans votre conception de site Web - les nuls

Pages Web qui ont des tonnes des choses emballées dans tous les coins et recoins rendent la page difficile à lire et ne donnent pas l'occasion à l'œil de se reposer. Lors de la création d'une mise en page Web, prévoyez toujours un espace libre autour de vos éléments de conception. Les espaces ouverts créent non seulement une atmosphère plus invitante ...