Back to Question Center
0

Semalt: Hur Blockera Darodar Robots.txt

1 answers:

Robots.txt-filen är en typisk textfil som innehåller instruktioner om hur webblåsare eller bots ska krypa på en webbplats. Deras tillämpning framgår av sökmotorer bots som är vanliga på många optimerade webbplatser. Som en del av Robots Exclusion Protocol (REP) utgör robots.txt-filen en viktig aspekt för att indexera webbplatsinnehåll och möjliggöra för en server att verifiera användarförfrågningar i enlighet därmed.

Julia Vashneva, Semalt Senior Customer Success Manager, förklarar att länk är en aspekt av sökmotoroptimering (SEO), vilket innebär att få trafik från andra domäner inom din nisch. För "följa" -länkarna för att överföra länkjuice är det viktigt att inkludera en robots.txt-fil på webbplatsens webbhotell för att fungera som instruktör för hur servern interagerar med din webbplats. Från det här arkivet finns instruktionerna genom att tillåta eller förhindra hur vissa specifika användaragenter beter sig.

Grundformatet för en robots.txt-fil

En robots.txt-fil innehåller två väsentliga rader:

Användaragent: [användaragentnamn]

Tillåt: [URL-sträng att inte krypas]

En fullständig robots.txt-fil ska innehålla dessa två rader. Vissa av dem kan emellertid innehålla flera rader med användaragenter och direktiv. Dessa kommandon kan innehålla aspekter som tillåter, disallows eller crawl-förseningar. Det finns vanligtvis en radbrytning som skiljer varje uppsättning instruktioner. Var och en av tilldelningen tillåter eller tillåter instruktion separeras av denna radbrytning, speciellt för robots.txt med flera rader.

Exempel

En robots.txt-fil kan till exempel innehålla koder som:

Användaragent: darodar

Tillåt: / plugin

Tillåt: / API

Tillåt: / _kommentarer

I det här fallet är det en block robots.txt-fil som begränsar Darodar webbrobot från att komma åt din webbplats. I ovanstående syntax blockerar koden aspekter av webbplatsen, t.ex. plugins, API och kommentarfältet. Med denna kunskap är det möjligt att uppnå många fördelar med att effektivt utföra en robots textfil. Robotar. txt-filer kan utföra många funktioner. De kan till exempel vara redo att:

1. Tillåt alla webbläsare innehåll på en webbplats sida. Till exempel,

Användaragent: *

Tillåt inte:

I det här fallet kan alla användarinnehåll nås av vilken webbläsare som begärs att komma till en webbplats.

2. Blockera ett specifikt webbinnehåll från en specifik mapp. Till exempel;

Användaragent: Googlebot

Tillåt: / Exempel-undermapp /

Denna syntax som innehåller användaragentnamnet Googlebot tillhör Google. Det begränsar bot från att få tillgång till vilken webbsida som helst i strängen www.ourexample.com/example-subfolder/.

3. Blockera en specifik webbrobot från en viss webbsida. Till exempel;

Användaragent: Bingbot

Tillåt: /example-subfolder/blocked-page.html

Användaragenten Bing bot tillhör Bing web-sökrobotar. Den här typen av robots.txt-fil begränsar Bing-webbroboten från att komma åt en viss sida med strängen www.ourexample.com/example-subfolder/blocked-page.

Viktig information

  • Inte alla användare använder din robts.txt-fil. Vissa användare kan bestämma att ignorera det. De flesta sådana webbrobotar inkluderar trojaner och malware.
  • För att en Robots.txt-fil ska vara synlig bör den finnas tillgänglig på webbplatsen för toppnivå.
  • Tecknen "robots.txt" är skiftlägeskänsliga. Som ett resultat borde du inte ändra dem på något sätt, inklusive kapitalisering av vissa aspekter.
  • "/robots.txt" är public domain. Vem som helst kan hitta denna information när den läggs till innehållet i en webbadress. Du bör inte indexera viktiga detaljer eller sidor som du vill att de ska förbli privata.
November 26, 2017
Semalt: Hur Blockera Darodar Robots.txt
Reply