Як пошукові системи знаходять нові сторінки та сайти?

Google сканує інтернет, щоб знайти нові веб-сторінки, а потім за необхідності індексує їх. Пошуковий робот – спеціальна програма, яка сканує (переглядає) сторінки в інтернеті та індексує їх. Робот Googlebot – це загальна назва сканера Google. Приклад: Робот Googlebot постійно сканує інтернет.