• Mekademet

איך מנועי חיפוש עובדים ולמה חשוב להבין את זה לפני שבונים אתר בוויקס?

כל יום אנשים מבצעים מיליוני חיפושים. מהי עיר בירה של פקיסטן? איפה מגדלים פולי קפה? מזג האוויר בלונדון? איפה סניף קרוב של חנות צעצועים? שעות פעילות של משרד הפנים? מגפי חורף לנשים? שמלה שחורה קטנה של אודרי הפבירן ועוד מיליוני אחרים. על כל שאילתה הגולש מקבל דף תוצאות - רשימת אתרים שיכולים לתת תשובה על השאלה. על שאילתה אחת אתם בד"כ מקבלים עשרות או מאות תוצאות. אך ככל שהאתר (או דף ספציפים באתר) יכול לתת מידע מלא, אמין ואיכותי, ככה תמצאו את האתרים האלה ממוקמים יותר גבוה בדף החיפוש.


קצת היסטוריה ורקע

בימינו, כאשר אנו מדברים על מנועי חיפוש, לרב הכוונה לגוגל (GOOGLE) (מר גוגל, ד"ר גוגל, האח הגדול -ועוד כל מיני כינויים שהגולשים נתנו). אך בשנות ה-90 כאשר אינטרנט רק התחיל את הדרכו, אחד המנועים הראשוניים היה ALTAVISTA.COM שפותחו לצורך חיפוש תיקיות ציבוריות ומידע רחב ברשת בצורה נוחה. באותם שנים היו להם מנועי חיפוש ושרתים הכי מהירים וחזקים בתחום. הם התחילו את פעילותם הרחבה ב-1995 . והם מיד זכו להצלחה רבה. תוך שנתיים הגדילו את התנועה שלם מ-300,000 כניסות ל-80 מיליון כניסות כל יום. כל הנתונים ומידע שנאספו בתהליך החיפושים ותוצאות היוו בסיס למחקר המשך על חוזק קשרים ומבנה הקישורים ברשת העולמית.


דף ארכיון של אלטאויסטה 1999
דף ארכיון של AltaVista - 1999

ב-1996 מנועי חיפוש של ALTAVISTA שימשו גם את מנוע חיפוש של YAHOO. ב-1997 לארי פייג' וסקגיי ברין בתור פרוייקט לימודים התחילו פיתוח של מנוע חיפוש מקורי שלהם. בשנת ה-2000 הם עדיין היו מפסידים פופולריות ל-ALTAVISTA. לעומת אלגוריתמים של חיפושים הנפוצים אז שדירגו חשיבות התוצאות על פי כמות האיזכורים של הביטויים בתוך המסמך / דף אינטרנט, מפתחי GOOGLE ניסו להתבסס את פעילות המנוע שלהם על בסיס כמות האיזכורים וקישורים של עמודים ברשת העולמית. הם היו הראשונים שביססו את המונח "page rank" שאופן פעילותו נרשם כפטנט מקורי שלהם.


עם הזמן ALTAVISTA התחילה להפסיד בתחרות. היא נרכשה כמה פעמים על ידי חברות אחרו. YAHOO רכשה אותה סופית וב-2013 ALTAVISTA נסגרה סופית. כרגע אתר Altavista.com מוביל ישירות לחיפוש ב-YAHOO.


דף ארכיון ווב - גוגל 1999
גוגל 1999 - דף ארכיון ווב

ו-GOOGLE השתלטה על נתח גדול של השוק. יחד עם זאת עדיין יש לה מתחרים. בארה"ב עדיין נתח שוק מחולק עם מספר מנועי חיפוש כמו BING ,YAHOO, DUCKDUCKGO .


מנוע חיפוש YANDEX שפותח על ידי שני מהנדסים רוסים (ממוצא יהודי , איך לא) איליה סגלוביץ' וארקדיי וולוז'. המנוע מאוד פופולרי בכל אזור של רוסיה ומדינות חבר העמים. ב-2012 יאנדקס אפילו עלתה על גוגל בכמות הכניסות וחיפושים דרך מנועי חיפוש שלה.


מנוע חיפוש סיני BAIDU - רביעי בגודלו בין מנועי חיפוש עולמיים וחברה עצמה היא אחת החברות אינטרנטיות הגדולות בעולם. בזמנו גוגל לא הצליחו לפרוץ את השוק האסייתי, במיוחד במדינות אסייתיות סגורות כמו סין.


אז איך בעצם מנועי חיפוש עובדים


מגירות עם כרטסות של ספרייה סגנון הישן

תיזכרו בספריות של לפני 30 שנה. מדפים מדפים של ספרים עם קיטלוג ידני שהיה ממוקם בארונית מעץ עם מגירות קטנות מרובעות. ברב ספריות קטנות בינוניות הקיטלוג היה לפי א'-ת'. בספריות אחרות היה גם תת קיטלוג לפי קטגוריה של הספרים כמו למשל - פסיכולוגיה, היסטוריה, מדע, ספרות ילדים, סיפורת , ספרים מתורגמים וכד'.

אם להסביר בצורה פשוטה את פעילות של מנוע חיפוש זה אותה ספרייה רק מפותחת יותר, מורכבת יותר ויעילה הרבה יותר. כל יום נוצרים מאות אלפי אתרים חדשים, מיליוני אם לא יותר דפים חדשים, וכל אתר או דף חדש חייב לעבור סוג של קיטלוג על מנת לקבל את מקומו הראוי "על מדף הספרייה".


לכן, מנועי חיפוש, שאלה בעצם תוכנות רובוטיות או ביטוי המוכר "בוטים", אמורים לבצע כמה פעולות חשובות.

סריקה ----> אינדוקס -----> דירוג

סריקה

מנועי חיפוש משתמשים בבוטים, מקובל עוד לקרוא להם "עכבישי סריקה", שמטרתם העיקרית היא לסרוק ולקרוא את כל המיליארדי דפי האינטרנט.


אינדוקס

הבוטים האלה אוספים ומארגנים את כל המידע הנסרק ונאסף למאגרי המידע שלהם (databases). ברגע שהדף נכנס ל-DB הוא אונדקס ועכשיו אין כל בעייה לשלוף את הדף הזה מהמאגר.

יחד עם זאת, לא כל העמודים יכולים להיכנס וייכנסו למאגר. מכמה סיבות.



אחת מהן היא שלעכבישי סריקה יש תקציב מוגבל של זמן שהם מוכנים להקדיש לכל דף ודף (הרי זוכרים שיש מיליוני מיליארדים?). דפים עם תוכן דל, דפים הנטענים לאט, דפים עם תוכן לא איכותי, תוכן פוגע, תוכן משוכפל, דפים בנויים על טכנולוגיות שלא ניתנות לסריקה - כל אלה לא יקבלו את המקום שלהם באינדקס כי בוטים יחסכו את התקציב היקר שלהם ולא יבזבזו אותו במקרים כאלה.


דירוג (Ranking)

כל דף מקבל הערכה - על מה הדף, מה התוכן שלו, עד כמה התוכן רלוונטי עבור שאילתה זו או אחרת.

למשל, אם מישהו מחפש נניח משחקי לגו, אז לרב תוצאות החיפוש שלו יציגו לו או חנויות אונליין לרכישה, או חנויות פיזיות בסביבה שלו. כמובן יכולול להיות גם אופציות נוספות כמו משחקי אונליין או סרטים מאוירים מהתחום. דוגמה אחרת, אם מישהו מחפש מידע על איזושהי מחלה או תסמין בריאותי, לרב התוצאות הראשוניות יציגו לו פורטל (או פורטלים) בריאות סמכותי שכולל בתוכו מאמר מעמיק על המחלה, ערך בויקיפדיה, דפי כתבות מאתרים סמכותיים אחרים.


כל התוצאות האלה מבוססות על הפעלת אלגוריתמים שונים ומשונים שכל הזמן עוברים שיפור ושידרוג בהתאם ללמידה ופיתוח מתמיד של מהנדסי אינטליגנציה מלאכותית. אלגוריתמים האלה בנויים על בסיס כל השאילתות שמוקלדות כל יום, התנהגות הגולשים וגורמים נוספים רבים שגוגל לא תמיד מפרסם אותם. חשוב גם לדעת שקיימים מעל 200 אלגוריתמים שונים שמשפיעים על תוצאות החיפוש.


כאשר גולשים מקלידים שאילתה כלשהי בבר החיפוש של גוגל, מופעל תהליך חיפוש בדטא בייסים של גוגל, והתוצאות נשלפים לפי האלגוריתמים המופעלים.


למה צריך להבין איך מנועי חיפוש עובדים?


התשובה הכללית היא - כדי לבנות או לשפר את האתר שלנו בצורה האופטימלית, שיוכל לענות על שאילתות ושאלות של הגולשים בצורה הכי טובה ורלוונטית ועל מנת שנוכל להוכיח גם לבוטים של גוגל שהאתר שלנו באמת שווה להציג לגולשים בדירוג כמה שיותר גבוה ברלוונטיות.


לכן חשוב מאוד, עוד טרם נבנה האתר, להתחיל לבחון מי הם הגולשים שאנו נרצה לפנות אליהם, מהן השאילתות האפשריות שלהם ברשת שעליהם נרצה לענות, ושאותם נרצה לראות באתר שלנו. שאותם נוכל להפוך ללקוחות המסופקים והמרוצים.


מנוע חיפוש ו-WIX


בתחילת פעילותה WIX לא היתה ברמה איכותית מבחינת מנועי חיפוש של גוגל. היא היתה שייכת לפלטפורמות שהיו בנויות על ADOBE FLASH, סוג של קוד הלא מאפשר סריקה בסיסית על ידי בוטים של גוגל. לכן עוד מאותם שנות ה-2000 הראשונות, סוחב זיכרון אנושי את הבעייה. אך החל משנת 2012 פלטפורמה של וויקס כולל כל האתרים הבנויים עליה בנויים על בסיס HTML5 - קוד הבסיסי והסטנדרתי שמאפשר למנועי חיפוש לבצע סריקה, אינדוקס ודירוג של האתרים האלה. לכן, אתרי וויקס כבר מזמן הפכו לשחקנים די שווים במגרש שנקרא 'קידום אתרים בגוגל'. למרות הדעה הרווחת שוויקס יותר מתאימה לאתרים קטנים מאוד כמו כרטיסי ביקור או הצגת פורטפוליו של מעצבים או אומנים, יותר ויותר אתרי וויקס נכנסים לתחום האיקומרס, בלוגים וכדומה.

לכתבה נוספת על איך ניתן להכין את אתר שבנוי על פלטפורמה וויקס לקידום אורגני בגוגל --> כאן


סרטון מעולה של גוגל עצמם על איך החיפוש עובד. אם אתם רוצי לעבור ישר לשאלה, תתחילו מדקה 10:16. (ניתן להפעיל תרגום לעברית).



אם יש לכם אתר שאתם רוצים לבדוק התאמתו לקידום בגוגל, אשמח לבדוק עבורכם. צרו איתי קשר דרך הטופס או שלחו מייל.



אם יש לכם שאלות, הערות נוספות, מצאתם מידע לא נכון בכתבה, אשמח לשמוע.


MEKADEMET