Jak indeksować duże witryny za pomocą Screaming Frog

1. Jakie są przyczyny indeksowania witryny?
2. Jak indeksujesz bardzo dużą witrynę?
3. 1. Zwiększ ilość pamięci RAM komputera
4. 2. Zwiększenie dostępności pamięci RAM dla krzyczących żab
5. 3. Zwiększ prędkość krzyczenia żaby
6. 4. Segmentuj stronę internetową na części do indeksowania
7. 5. Dołącz katalogi docelowe
8. 6. Wyklucz niepotrzebne adresy URL
9. Dodatkowe wskazówki

Jednym z pierwszych kroków podczas przeprowadzania audytu SEO lub przygotowania do przeprojektowania strony internetowej jest „indeksowanie” (inaczej „skrobanie”) witryny. Indeksowanie witryny może dostarczyć istotnych informacji na temat potencjalnych problemów i możliwych obszarów ulepszeń.

Moje osobiste narzędzie do wyboru do indeksowania witryny to Krzycząca Żaba . Oprogramowanie jest niedrogie, łatwe w obsłudze i niezwykle wszechstronne. Przez lata oceniałem wiele innych opcji, ale jeszcze nie znalazłem takiego, który naprawdę konkuruje, gdy uwzględni się wszystkie względy.

Jakie są przyczyny indeksowania witryny?

Jest wiele różnych rzeczy, które możesz wykonać używając Screaming Frog. Poniżej kilka zastosowań, które uważam za szczególnie pomocne.

• Utwórz listę wszystkich adresów URL / stron na stronie internetowej
• Znajdź 302 przekierowania
• Wykonaj kontrolę jakości dla implementacji przekierowania 301
• Sprawdź, czy Google Analytics znajduje się na każdej stronie
• Znajdź uszkodzone linki (wewnętrzne i zewnętrzne)
• Znajdź brakujące meta treści i atrybuty alt
• Znajdź duplikaty treści
• Znajdź lub zweryfikuj zawartość schematu
• Znajdź złośliwe oprogramowanie lub spam
• Znajdź wolne strony ładowania
• Utwórz mapę witryny XML
• Sprawdź listę adresów URL PPC

Ponownie, jest to tylko mała lista potencjalnych zastosowań do indeksowania witryny. Jest wiele więcej rzeczy, które możesz zrobić, gdy tylko w pełni zrozumiesz możliwości Screaming Frog.

Jak indeksujesz bardzo dużą witrynę?

Domyślna konfiguracja Screaming Frog jest świetna do radzenia sobie ze stronami o mniej niż 10 000 stron, ale co zrobić, gdy natkniesz się na stronę taką jak ta poniżej?

Na stronie internetowej znajduje się ponad 3 miliony zindeksowanych stron, co sprawia, że ​​indeksowanie jest co najmniej wyzwaniem. Na stronie internetowej ten rozmiar wymaga kilku ważnych poprawek do konfiguracji Screaming Frog. Poniżej znajduje się samouczek, w jaki sposób skonfigurować Screaming Frog do indeksowania bardzo dużych witryn.

1. Zwiększ ilość pamięci RAM komputera

Ten krok jest opcjonalny, ale bardzo zalecany. Oprogramowanie Screaming Frog opiera się na pamięci RAM do przechowywania danych podczas indeksowania witryny. Im więcej pamięci RAM ma komputer, tym więcej stron możesz przeszukać. Dobrą wiadomością jest to, że pamięć RAM stała się niezwykle tania. Dla większości komputerów karta pamięci o pojemności 8 GB kosztuje około 50 USD.

Musisz trochę zbadać, ile pamięci RAM może pomieścić komputer, ponieważ waha się od 4 GB do ponad 64 GB. Gdy już wiesz, ile pamięci RAM możesz dodać, upewnij się, że kupiłeś karty pamięci RAM zgodne z Twoim komputerem.

Instalacja pamięci RAM zajmuje zwykle około 30 sekund. Wszystko, co musisz zrobić, to wyskoczyć z tyłu komputera i włożyć karty RAM do dostępnych gniazd. Możesz wykonać szybkie wyszukiwanie w YouTube dla swojego modelu komputera + „Uaktualnienie pamięci RAM”, aby znaleźć samouczek, w jaki sposób wykonać ten proces na wypadek, gdyby na komputerze były określone niuanse.

Najlepszą rzeczą w zwiększaniu ilości pamięci RAM jest zwiększenie możliwości przeszukiwania stron internetowych. Jeśli jesteś podobny do mnie i zawsze masz zestaw programów uruchomionych jednocześnie, jednocześnie odbijając się między tysiącami różnych kart Chrome, będziesz mile zaskoczony poprawą codziennej szybkości komputera.

2. Zwiększenie dostępności pamięci RAM dla krzyczących żab

Domyślne ustawienie Screaming Frog umożliwia dostęp do 512 MB pamięci RAM. Dodanie większej ilości pamięci RAM do komputera nie zmieni liczby stron, które można indeksować, dopóki nie powiadomisz oprogramowania, że ​​może wykorzystać więcej dostępnej pamięci.

Aby to zrobić, musisz najpierw otworzyć folder Screaming Frog. Następnie użyj edytora tekstu, takiego jak Notatnik, aby otworzyć plik o nazwie „ScreamingFrogSEOSpider.l4j”.

Plik jest bardzo prosty i zawiera tylko dwie linie informacji. Numer znajdujący się w drugiej linii to numer, który trzeba zaktualizować.

Domyślny numer po pierwszym otwarciu tego pliku to „-Xmx512M”. Oznacza to, że Screaming Frog może używać 512 MB (0,5 GB) pamięci RAM komputera. Dodaj 1024 na każdy dodatkowy 1 GB pamięci RAM, do której chcesz mieć dostęp do Krzyku Żaby. Na przykład, aby przydzielić 15 GB (na zdjęciu na powyższym obrazku), po prostu zastąp liczbę liczbą „15360” (1024 x 15 = 15360). Pamiętaj, aby pozostawić tekst „-Xmx” i „M”, który pojawia się wokół numeru. Następnie zapisz plik i powinieneś być gotowy do użycia dodatkowej pamięci RAM.

WSKAZÓWKA 1: Zalecam przeznaczenie co najmniej 3 GB mniej niż całkowita dostępna pamięć RAM witryny. Jeśli przydzielisz pełną dostępną pamięć RAM, możliwe jest, że indeksowanie dużych witryn zamrozi komputer po osiągnięciu maksymalnej ilości pamięci RAM. Na przykład, jeśli twój komputer ma 16 GB pamięci RAM, zezwalaj tylko Screaming Frog na dostęp do 13 GB. Zawsze możesz zmniejszyć ilość pamięci RAM w tym buforze, jeśli określisz, że jest ona większa niż wymaga tego komputer.

WSKAZÓWKA 2: Aby sprawdzić, czy udało Ci się zwiększyć przydział pamięci RAM: uruchom ponownie Screaming Frog, kliknij „Help”, a następnie kliknij „Debug”. W wierszu oznaczonym „Pamięć” nowa ilość pamięci RAM powinna być wymieniona bezpośrednio za słowem „Max”.

3. Zwiększ prędkość krzyczenia żaby

Indeksowanie dużych witryn wymaga czasu, ale istnieją sposoby, aby przyspieszyć ten proces. Aby zminimalizować czas potrzebny, musisz zwiększyć szybkość indeksowania na karcie konfiguracji.

Po kliknięciu „Speed” pojawi się okno konfiguracji prędkości pająka. Liczba podana obok „Max Threads” określa, jak szybko możesz indeksować witrynę.

Zwiększenie tej liczby znacznie poprawi czas indeksowania stron internetowych. Przetestuj używając kilku różnych maksymalnych liczby wątków i zobacz, jak wpływa na szybkość indeksowania (np. 10, 50, 100, 200, 500, 1000 itd.)

Warto zauważyć, że ustawienie dużej liczby wątków zwiększy liczbę żądań http wysyłanych do serwera, co może mieć wpływ na czas reakcji witryny. Nigdy nie spotkałem się z tym problemem u żadnego z naszych klientów, ale nie zaszkodzi dotrzeć do webmastera witryny, aby na wszelki wypadek zatwierdzić szybkość indeksowania. Inną opcją jest monitorowanie czasów odpowiedzi i dostosowanie prędkości, jeśli zauważysz jakiekolwiek problemy.

4. Segmentuj stronę internetową na części do indeksowania

Bez względu na to, ile pamięci RAM włożysz do komputera, zawsze będą witryny internetowe z zbyt wieloma stronami do indeksowania w jednej sesji. Aby zaindeksować strony internetowe tej wielkości, musisz podzielić je na części do indeksowania.

Pierwszą rzeczą, którą musisz zrobić, to uruchomić indeksowanie, aby dowiedzieć się, ile adresów URL może obsłużyć komputer. Maksymalna liczba adresów URL, które można indeksować, pomoże określić strategię segmentacji. Jako punkt odniesienia, moim zdaniem, komputer z 15 GB pamięci RAM przydzielonej do Screaming Frog może indeksować 600 000–900 000 adresów URL na sesję.

Po określeniu maksymalnej liczby adresów URL musisz zmapować witrynę, dzieląc ją na poddomeny lub katalogi, które spadają poniżej maksymalnej liczby adresów URL. Użyj polecenia wyszukiwania w witrynie Google, aby określić liczbę zindeksowanych stron w każdej sekcji (np .: „Witryna: http://yourdomain.com/targeted-directory/ ” ).

Jak widać na powyższym zrzucie ekranu, ten konkretny katalog zawiera tylko 304 000 zindeksowanych stron, mimo że witryna jako całość zawierała ponad 3 miliony.

Ważne jest, aby pamiętać, że polecenie wyszukiwania w witrynie wyświetli tylko liczbę zaindeksowanych stron w katalogu. Nie wyświetla całkowitej liczby stron, które istnieją w katalogu. Strony mogą istnieć w katalogu, który nie jest aktualnie indeksowany. Z tego powodu podaj sobie bufor między maksymalną liczbą stron, które komputer może obsłużyć, a ilością zaindeksowanych stron w sekcji, którą próbujesz przemierzyć. Jeśli na przykład komputer może obsłużyć około 700 000 stron na indeksowanie, spróbuj podzielić stronę na segmenty, które zawierają 500 000 lub mniej stron indeksowanych. W ten sposób otrzymasz 200 000 buforów stron do rozliczenia dla wszystkich nieindeksowanych stron.

Wskazówka: możesz napotkać sytuacje, w których poddomena lub katalog ma więcej indeksowanych stron niż komputer może indeksować. Wyjaśnienie, jak sobie z tym poradzić, znajduje się w sekcji 6 tego samouczka.

5. Dołącz katalogi docelowe

Następnym krokiem w procesie konfiguracji jest powiadomienie Screaming Frog o konkretnej treści, którą chcesz indeksować. Aby to zrobić, musisz kliknąć „Dołącz” w menu rozwijanym konfiguracji.

Otworzy się okno, w którym można użyć wyrażeń regularnych (regex), aby ograniczyć oprogramowanie do przeszukiwania tylko określonej zawartości. Jeśli nie znasz wyrażeń regularnych Microsoft ma całkiem niezłą listę tego, do czego każda postać może być użyta.

Poniższy przykład pokazuje wyrażenie regularne używane do ograniczenia przeszukiwania tylko do katalogu / foodscores /.

Ważne jest, aby rozpocząć indeksowanie ze strony, która ma co najmniej jeden link wewnętrzny wskazujący na zawartość docelową. Jeśli nie, indeksowanie zakończy się po jednej stronie.

6. Wyklucz niepotrzebne adresy URL

Funkcja wykluczania jest podobna do funkcji włączania, z wyjątkiem, jak pewnie odgadłeś, usuwa w wynikach sekcje, których nie chcesz.

Jest to bardzo pomocne przy rozbijaniu stron internetowych, które mają zagnieżdżone katalogi lub do rozbijania samych katalogów, gdy mają więcej stron, niż komputer może obsłużyć podczas jednego przeszukiwania.

Ta funkcjonalność jest również niezwykle pomocna podczas pracy z systemem CMS, który automatycznie generuje strony dynamiczne. Jeśli zaczniesz indeksowanie i zaczniesz zauważać dużą liczbę pobieranych adresów URL, masz dynamiczne segmenty, takie jak „? Search =” lub „? Tag =”, najprawdopodobniej chcesz dodać te segmenty adresów URL do sekcji wykluczeń, aby wyczyścić zwiększ wyniki i zmniejsz liczbę niepotrzebnych stron indeksowanych.

Poniżej znajduje się kilka przykładów wyrażeń regularnych z funkcjami wykluczającymi, które podkreślają Screaming Frog na swojej stronie internetowej.

WSKAZÓWKA: Czasami może być trudno rozdzielić poszczególne katalogi, które mają więcej indeksowanych stron, niż komputer może obsłużyć. Aby wykonać to zadanie, musisz wykorzystać zarówno funkcje dołączania, jak i wykluczania.

Jednym z możliwych rozwiązań jest rozbicie katalogu przy użyciu słowa kluczowego URL. Jeśli duża część adresów URL w katalogu ma określone słowo kluczowe, możesz je wykorzystać na swoją korzyść. Uruchom jedno indeksowanie, w tym adresy URL w katalogu zawierającym słowo kluczowe kierowane, a następnie uruchom osobne indeksowanie, w którym uwzględnisz katalog i wykluczasz słowo kluczowe.

Najlepsze rozwiązanie tego problemu zwykle zależy od konkretnej witryny, którą próbujesz zaindeksować. Poświęć trochę czasu na zapoznanie się z wyrażeniami regularnymi. Jeśli to zrobisz, odkryjesz wiele różnych opcji dzielenia dużych katalogów na przeszukiwalne porcje.

Dodatkowe wskazówki

Oto kilka dodatkowych wskazówek, które mogą być pomocne przy konfigurowaniu Screaming Frog i indeksowaniu dużych witryn.

• Jeśli masz komputer 64-bitowy, upewnij się, że pobrałeś i zainstalowałeś 64-bitową wersję Java. Jeśli nie, natrafisz na błąd wyświetlony poniżej.

• Zapisz kopie zapasowe indeksowania, gdy zbliżysz się do maksymalnego wykorzystania pamięci RAM. Jeśli na przykład komputer może zazwyczaj obsłużyć 700 000 adresów URL na indeksowanie, a podczas przeszukiwania przeszło 600 000 adresów URL, dobrym pomysłem jest wstrzymanie i zapisanie na wypadek, gdyby wysokie użycie pamięci RAM ostatecznie spowodowało zamrożenie komputera. W Screaming Frog jest domyślne ustawienie, które ma wstrzymać oprogramowanie przy wysokim wykorzystaniu pamięci, ale doświadczyłem sytuacji, w których nie zawsze działa.

• Jak wspomniano wcześniej, im więcej pamięci RAM ma komputer na Screaming Frog, tym więcej adresów URL można indeksować. Oznacza to, że pomocne może być zmniejszenie ilości pamięci RAM wymaganej przez inne programy. Jeśli korzystasz z Chrome i wiele kart jest otwartych od razu, istnieje wolne rozszerzenie „The Great Suspender” który tymczasowo zawiesza karty, których nie używałeś przez jakiś czas. Następnie pozwala szybko odmrozić karty, gdy ich potrzebujesz. Rozszerzenie pomaga zmniejszyć zużycie pamięci RAM w Chrome, a ja osobiście uznałem to za niezwykle korzystne.

Przeszukiwanie ogromnych stron internetowych może być z pewnością wyzwaniem, ale jest to proces niezwykle ważny dla SEO, konserwacji stron internetowych i procesu redesignu. Na szczęście, po zakończeniu implementacji wszystkich powyższych konfiguracji, będziesz w stanie rozpocząć indeksowanie witryn o rozmiarze Mount Everest.

Czy masz własne wskazówki dotyczące indeksowania dużych witryn? Czy masz dodatkowe pytania? Poniżej możesz zadawać swoje pytania i komentarze lub skontaktować się ze mną bezpośrednio pod adresem: [email protected] lub @BrianRogel

Powodzenia i szczęśliwego raczkowania!

Czy przeczytałeś cały ten wpis na blogu? Jeśli tak, jesteśmy pod wrażeniem Twojego poświęcenia (bądźmy szczerzy, jest to dość długi post). Możesz być typem osoby, którą chcemy zatrudnić. Koniecznie sprawdź nasze otwarte stanowiska i sięgnij do nas pod adresem: [email protected] . Oczekujemy na kontakt zwrotny!