Welcome
Welcome to the learnshell.org interactive Shell Programming tutorial.
Whether you are an experienced programmer or not, this website is intended for everyone who wishes to learn programming with Unix/Linux shell interpreters.
You are welcome to join our group on Facebook for questions, discussions and updates.
Just click on the chapter you wish to begin from, and follow the instructions. Good luck!
Robots.txt
Introduction au protocole d'exclusion des robots
Le protocole d'exclusion des robots, plus connu sous le nom de robots.txt, est une convention visant à empêcher les robots d'exploration (web crawlers) d'accéder à tout ou une partie d'un site web.
Le fichier robots.txt, à placer la racine d'un site web, contient une liste de ressources du site qui ne sont pas censées être explorées par les moteurs de recherches. Ce fichier permet également d'indiquer aux moteurs l'adresse du fichier sitemap.xml du site.
Par convention, les robots consultent le fichier robots.txt avant d'explorer puis d'indexer un site Web. Lorsqu'un robot tente d'accéder à une page web, comme par exemple http://www.mon-domaine.fr/page.html, il tente d'accéder en premier lieu au fichier robots.txt situé à l'adresse http://www.mon-domaine.fr/robots.txt
Comment créer le fichier robots.txt
Le fichier robots.txt doit être placé obligatoirement à la racine de votre site ; si celui-ci est placé dans un répertoire par exemple, les moteurs ne le découvriront pas et ne suivront pas ses règles et paramètres. Par ailleurs, le fichier doit être d'une taille inférieure à 62 Ko (cf. Taille maximale du fichier robots.txt).
Si le domaine de votre site est http://www.mon-domaine.fr/, le fichier robots.txt doit se situer obligatoirement à l'adresse suivante http://www.mon-domaine.fr/robots.txt
A noter qu'il est également nécessaire que le nom du fichier robots.txt soit en minuscule (pas de Robots.txt ou ROBOTS.TXT).
Voir également les ressources pour la création d'un fichier robots.txt sur un serveur en HTTPS ou dans le cas de sous-domaines.
Le contenu du fichier robots.txt
Exemple de contenu d'un fichier robots.txt :
User-agent: *
Disallow:
Mauya!
We tried to learn other languages, but since we didn't find a for them it might not say "Welcome". We extend our deepest apologies.
How do I use this thing?
See the input box by the logo? Just type in a command and see the magic happen!
Try osx/say, linux/du, or simply man.
Some commands are widely available with the same interface, some other have variants per operating system. Currently the tldr-pages project splits comman into 4 categories: common, linux, osx, and sunos.
du, for example, is available under both linux and osx.
What is ?
This is a web client for a project called tldr-pages; they are a community effort to simplify the beloved man pages with practical examples.
