SubmitCad Multiple Submit Submission

referenceur,referenceur automatique

SubmitCad Multiple Submit Submission

Scriptol.fr. Programmation du Web, Ajax, RSS, Scriptol, PHP, SEO, Adsense.

Scriptol.fr est un site pour programmeurs et webmasters. Il vous fournit gratuitement des tutoriaux et des logiciels, ainsi que des articles de références.
scriptol, langage, web, applications, programmer, scripts, pages, solution, moderne, programmation, php, code, compilateur, compilateurs, programmes

Scriptol.fr. Programmation du Web, Ajax, RSS, Scriptol, PHP, SEO, Adsense.

Générer un fichier robots.txt

Moteurs de recherche, aspirateurs de sites ou extracteurs d'adresses e-mails, les programmes qui parcourent le web tout seuls, appelés robots, sont nombreux. Ils peuvent parfois gêner le fonctionnement d'un site en le ralentissant si les pages sont demandées trop rapidement, en faussant les statistiques ou en visitant certaines pages dynamiques comme des pages de vote.
On peut avoir besoin d'interdire l'accès à certaines parties d'un site uniquement aux robots et pas aux visiteurs humains. C'est impossible dans l'absolu (comment savoir si une page est demandée par un humain avec son navigateur ou par un robot ?), mais certains robots bien faits, en particulier les moteurs de recherche, sont polis et lisent un fichier nommé robots.txt avant d'entrer sur un site pour savoir s'ils sont bienvenus ou pas. Il faut s'imaginer ce fichier robots.txt comme un panneau sens interdit et pas comme une porte fermée : seuls les robots suffisamment respectueux en tiendront compte.
Pour vraiment fermer la porte de force à la fois aux robots et aux visiteurs humains, il faut utiliser une protection au niveau du serveur web, le fichier .htaccess Pour tout savoir (en anglais bien sûr) :
The Web Robots Pages (plus ou moins officiel),
A Standard for Robot Exclusion,
Robot Exclusion Standard Revisited (page très complète)
Il n'y a qu'un seul fichier robots.txt par site (et pas un par répertoire comme avec les .htaccess qui n'ont aucun rapport), et il doit être placé à la racine du site. Par exemple si votre site est http://webcrawler.com, le fichier doit être à l'adresse http://webcrawler.com/robots.txtÇa veut dire que si votre site est sur http://perso.wanadoo.fr/insectes.net/ , vous ne pouvez pas utiliser robots.txt car d'une part vous n'avez pas accès à la racine perso.wanadoo.fr et d'autre part les restrictions s'appliqueraient à toutes les pages perso de Wanadoo, pas seulement les vôtres.Dans ce cas vous pouvez quand-même utiliser des balises META spéciales dans vos pages.

---

Générateur de fichiers robots.txt:
http://aspirine.org/robotstxt.html

---

outil Webmaster de Google

Générer un fichier robots.txt avec l'outil Webmaster de Google

 

 

 

Google continue d'étoffer son outil webmaster (dit "Webmaster Tool") avec un générateur de fichier robots.txt. Un nouvel accessoire de plus pour rendre son site "Search Engine friendly" et surtout en contrôler l'accès pour les robots des moteurs.

Pour rappel, le fichier robots.txt vous permet de contrôler l'accès de votre site aux robots des moteurs de recherche en leur interdisant ou autorisant l'accès à certains répertoires ou pages de votre site. Pratique donc si vous désirez que certaines parties restent confidentielles.

Après diverses avancées concernant les Sitelinks, les sitemap, etc... c'est au tour du fichier robots.txt d'être mis à l'honneur sur le Webmaster Tool de Google. Avec ce nouveau service lancé la semaine passée sur la plate forme de Google dédiée aux webmasters, il vous sera donc possible de générer automatiquement un fichier robots.txt, selon vos besoins.

Ce n'est certes pas le premier outil de ce genre sur le web, mais son intégration au Webmaster Tool facilitera pas mal la tâche à nombre de webmestres. En attendant, une question reste en suspend: mais que font Yahoo! et Live Search de leur outil Webmaster!? A quand des nouveautés dignes de ce nom et permettant de concurrencer ne serait-ce qu'un peu Google?

Source: Webmaster Central Blog

http://www.top-logiciel.net/news-article.storyid-2597.htm