כיצד סורק גוגל את האתר ומסווג אותו בתוך מנוע החיפוש?

כיצד סורק גוגל את האתר ומסווג אותו בתוך מנוע החיפוש?
גוגל למעשה מבצע "סריקה" של כל האינטרנט ו-"מצלם" אותו. הדבר נעשה באופן אוטומאטי. גוגל סורק את הטקסט  עצמו, את קוד המקור ואת קוד ה- Html. בנוסף, גוגל שומר לעצמו "היסטוריה" של האתר שלנו, והוא יכול להשוות באם האתר התפתח ועודכן, או שמא הוא "סטטי".