Prawidłowo działająca strona internetowa jest niezbędnym elementem marketingu w dzisiejszym świecie. Wszystkim przedsiębiorcom zależy na tym, aby jej zawartość wyświetlała się jak największej ilości internautów w organicznych wynikach wyszukiwania. Co ważne, musi mieć ona przyjazną formę zarówno dla użytkowników, jak i robotów Google, które weryfikują jej zawartość.
Crawlery są to inaczej boty, czyli programy używane przez przeglądarki do analizowania kodu, struktury i zawartości witryn w Internecie. Pełnią one niezwykle ważną funkcją w pozycjonowaniu, gdyż na bazie zebranych danych dostosowują wyniki wyszukiwania do fraz wpisywanych w wyszukiwarki internetowe. Najbardziej znanym crawlerem jest google crawler, czyli inaczej Googlebot. Jak działa web crawler, do czego się przydaje i co trzeba jeszcze o nim wiedzieć?
Czym są crawlery?
Crawlery są to programy opracowane przez wyszukiwarki internetowe i służące do odczytywania zawartości znajdujących się na stronach internetowych oraz ich indeksowaniu. Roboty indeksujące „czytają” daną witrynę, a więc jej tekst wraz z jej kodowaniem, po czym przechodzą do innych stron, używając do tego znajdujących się na niej odnośników. Celem crawlera jest przygotowywanie kopii dokumentów przez indeksowanie ich w wynikach wyszukiwarki albo bazy danych.
Taki program jest często wykorzystywany przez zewnętrznych dostawców usług. Warto zaznaczyć, iż boty przydają się między innymi w codziennej pracy specjalistów SEO. Pomagają one w kontroli struktury serwisu i są pomocne w trakcie jego optymalizacji. Co ważne, da się zablokować dostęp danym robotom do serwisu czy też pewnych jego zasobów. Do tego celu należy odpowiednio zmodyfikować plik robots.txt. W przypadku stron, których właściciele nie chcą, aby były indeksowane, w ich kodzie źródłowym należy umieścić instrukcję nonindex.
Crawler- inne stosowane nazwy
W Internecie funkcjonuje wiele określeń na crawlery, które warto poznać. Funkcjonują one pod takimi nazwami w Internecie jak
- robot sieciowy,
- crawler bot,
- bot wyszukiwarki,
- bot indeksujący,
- pełzacz,
- web crawler.
Jak działa web crawler?
Programy indeksujące pobierają witryny, po czym je skanują i decydują, czy daną stronę warto zindeksować, czy też nie. Crawling jest to pierwszy etap indeksowania stron internetowych. Bot wyszukiwarki zbiera wtedy w bazie danych zawartość podstrony, wraz ze wszystkimi słowami i informacjami znajdującymi się także w tagach. Bot przetwarza również zdjęcia i filmy, po czym algorytmy wyszukiwarki analizują indeks podstron znajdujących się w bazie, a następnie układają wyniki wyszukiwania ukazujące się na wpisane przez użytkowników hasło. Proces crawlowania witryny usprawnia regularne publikowanie nowych treści na stronie czy też dodanie sitemapy.
Jeżeli chcemy sprawdzić, czy strona została zindeksowana, możemy wpisać site: nazwastrony.pl. W przypadku braku indeksowania powodem może być brak czy też zbyt mała ilość linków, które prowadzą do witryny. Niekiedy przyczyną jest także młody wiek domeny. Na samym końcu tego procesu tworzony jest ranking stron, a więc miejsce danej witryny w wynikach wyszukiwania. Co ważne, najbardziej wartościowe strony osiągają wyższe pozycje w wyszukiwarce.
Jakie funkcje pełni web crawler?
Jeśli chodzi o jego zadania, zależą one przede wszystkim od robotów indeksujących. Można tutaj wymienić, takie czynności jak:
- sprawdzanie kodu źródłowego strony internetowej,
- zbieranie wszelkich przydatnych informacji o witrynach dla użytkowników,
- sprawdzanie aktualizacji treści np. na blogu firmowym
- badanie ogólnego contentu strony, czyli jej wszystkich treści, zdjęć, filmów, opisów.
Robot indeksujący przechwyca wszystkie dane znajdujące się w zasobach internetowych, po czym jest w stanie ustawić pozycję w organicznych wynikach wyszukiwania. Dzięki temu, będą one jak najlepiej odpowiadać na zapytania użytkowników.
Co crawler bierze pod uwagę podczas indeksacji?
Crawler ma za zadaniem odwiedzać strony internetowe, rzetelnie weryfikować ich treść, po czym wysyłać najważniejsze dane do specjalnego indeksu. Uzyskanie ruchu na witrynie pochodzącego z wyszukiwarki jest możliwe, dzięki indeksacji strony przez pająki indeksujące. W tracie tego procesu roboty Google’a biorą pod uwagę takie elementy domeny jak:
Content
Najważniejszym elementem, jaki znajduje się na każdej stronie internetowej jest oczywiście sama treść. Musi być ona przede wszystkim poprawna i wysokiej jakości, aby dla Googlebotów okazała się wartościowa. Web crawlerzy biorąc pod uwagę content weryfikują tematykę oraz kategoryzują strony www. Warto więc pamiętać o poprawności ortograficznej i gramatycznej. Co ważne, nie należy też przesadzać z nasyceniem słów kluczowych. Nie bez znaczenia jest również przejrzystość treści, jak i jej oryginalność.
Znaczniki meta
Kolejnymi ważnymi elementami są znaczniki meta. Najważniejszy z nic jest tag title. To właśnie on jest odpowiedzialny za SEO, a tym samą prawidłową indeksację strony www. Musi w nim znaleźć się słowo kluczowe i interesująca treść, która nakłoni użytkownika do wejścia na stronę. W przypadku tag descripion, to boty crawlujące nie zwracają na niego uwagi. Jeśli chodzi o meta description to poleca się dodać do niego Call To Action, czyli wezwanie do działania. Jego celem jest też zachęcenie do wejścia na witrynę.
Opisy alt w grafice
To absolutna podstawa, aby w grafice znalazły się opisy alt. Jest to ważne z tego względu, gdyż web crawlery nie widzą obrazków, a więc w trakcie indeksakcji zwracają uwagę jedynie na opisy alternatywne grafik tudzież fotografii.
Do czego wykorzystuje się crawlery?
Robot sieciowy może być stosowany na wiele sposobów, w zależności od zaprogramowania. W SEO najczęściej używa się botów indeksujących, a zwłaszcza tych od Google. Do czego jeszcze przydają się te programy? Za ich pomocą można:
- analizować strony pod kątem SEO,
- tworzyć kontaktowe bazy danych,
- analizować linki,
- dodawać komentarze,
- monitorować strony internetowe, jak i wszystkie zachodzące na nich zmiany.
Web crawlery od Google- rodzaje skanów
Znane są trzy rodzaje skanów wykonywanych przez roboty Google. Jest to Google’s deep crawl, Google’s fresh crawl oraz Google’s main crawl.
Google’s deep crawler
Jest to bardzo dokładny skan oferowany od Google. Bada w sposób kompleksowy całą zawartość witryny, biorąc pod uwagę internal linking, kod HTML i CSS, odnośniki dofollow oraz inne ważne elementy. W zależności od częstotliwości modyfikacji danej witryny, może on występować nawet parę razy w miesiącu.
Google’s fresh crawler
Jest on odpowiedzialny za aktualizację najistotniejszych elementów witryny, które są widziane przez użytkowników. Dzięki temu, są oni na bieżąco ze wszelkimi nowościami dodawanymi przez odwiedzaną domenę. Taki skan jest wykonywany co najmniej raz dziennie.
Google’s main crawler
Ten skan wykonywany jest około raz w tygodniu. Zajmuje się on skanowaniem zakładem typu „o mnie” i podstron kontaktowych, dzięki czemu potencjalni klienci mogą regularnie dowiadywać się kluczowych informacji o danej domenie.
Inne narzędzia do skanowania strony
Crawlerami określa się także potocznie inne narzędzia, które także służą do skanowania strony. Wśród nich można wymienić Screaming Frog, Virtual SEO Studio, Sitebulb czy Website Auditor. Wszystkie podane programy różnią się swoimi funkcjami aczkolwiek działają w dosyć podobny sposób. Można w nich sprawdzić odpowiedzi serwera z kodami błędów, a więc znajdziemy dzięki nim na przykład nieistniejące strony. Ponadto, stworzymy mapę witryny, otrzymamy listę stosowanych nagłówków oraz obrazków, jak i treści znajdujące się w tagu alt. Crawler jest niezbędnym narzędziem do przeprowadzenia dokładnego audytu SEO.
Web crawler- jakie są jego zalety?
Z crawlerów korzystają często specjaliści SEO. Takie narzędzia pozwalają na uzyskanie dostępu do wielu statystyk oraz mierników ważnych z punktu pozycjonowania strony. Wśród nich można należy wymienić:
- wyszukiwanie zduplikowanych treści,
- znalezienie stron błędów,
- analiza przekierowań,
- wskazanie stron pustych i stron o niskiej zawartości treści.
W jaki sposób rozpoznać Google-bota?
Czy istnieje możliwość rozpoznania bota na naszej witrynie? Okazuje się, że jest to możliwe i co najważniejsze, niezmiernie proste. Rozpoznanie bota-Google oraz crawlera z pozostałych wyszukiwarek przebiega przy użyciu skryptu PHP. Kod, który będzie widoczny w przypadku Google-bota to Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).
Jak należy dostosować stronę www do wymagań botów Google?
Trzeba zadbać przede wszystkim o wysoką jakość samego contentu we wszelkich jego aspektach. Ważne jest też:
- odpowiednie zastosowanie słów kluczowych- muszą być dobrze dobrane i użyte z właściwą frekwencją oraz precyzją,
- pozbycie się zduplikowanych treści- wszystkie kopie treści (wewnętrzne i z zewnętrznych serwisów) doprowadzają do obniżenia Page Rank,
- opracowanie poprawnych tagów meta title i mieta description- muszą uwzględniać dominujące w danych zakładkach frazy kluczowe, być atrakcyjne dla użytkownika i przejrzyste,
- dodanie do każdego zdjęcia tagu alt.
Warto również kontrolować sam dostęp crawlerów, jak i zablokować im możliwość indeksowania zbyt dużej ilości podsron. Nadmierna aktywność skutkuje bowiem przeciążeniem serwerów, jak i może doprowadzić do pominięcia istotnych aktualizacji.
Wszystkie dobrze działające firmy posiadają swoje strony internetowe, które są odpowiednio wypozycjonowane pod kątem wyszukiwarek. Bez optymalizacji w sieci trudno się obyć. Takimi działaniami zajmują się właśnie specjaliści z firmy cwierkaja.pl. Witryny internetowe są przeszukiwane przez wiele robotów stworzonych przez różne dostępne wyszukiwarki. Najbardziej liczącymi się robotami, są oczywiście te od giganta Google. Googleboty nie są jednak jedynymi pająkami, które indeksują witryny internetowe. Inne wyszukiwarki również korzystają ze swoich własnych crawlerów, które indeksują strony oraz na podstawie własnych baz ustalają kolejność wyszukiwania danych zapytań użytkowników Internetu. Znajomość sposobu działania robotów wyszukiwarek okazuje się niezbędna do dobrego pozycjonowania danej strony www.
Działasz lokalnie? Twoja firma nie jest widoczna nawet w twoim mieście? Czas to zmienić? zainwestuj w pozycjonowanie lokalne z Pawłem Wróblewskim.
