इंटरनेट: सर्च कसे काम करतो?

गुगलचा सर्च आणि एआयचा प्रमुख, जॉन आणि मायक्रोसॉफ्ट बिंगची अक्षया, यांच्याकडून सर्च प्रत्यक्षात कसे काम करतो, हे जाणून घेऊया. तुम्ही सर्च करण्यासाठी शब्द टाईप करण्याआधी पासूनच "स्पायडर्स" नावाचे खास प्रोग्रॅम्स इंटरनेट कसे स्कॅन करतात, इथेपासून ते कोणता सर्च निकाल आधी दिसावा, हे कसे ठरते इथेपर्यंत अनेक गोष्टी त्यांनी सांगितल्या आहेत. सर्च अल्गोरिदम स्पॅमर्सना कसे उघडकीला आणतात, स्थानीय सेवा व्यवस्थापन कसे करतात आणि दरवर्षी सर्च अधिक चांगला करण्यासाठी मशीन लर्निंग कसे वापरतात, हे समजून घेऊया.

http://code.org/ वर शिकायला सुरुवात करा.

आमच्या संपर्कात राहा!
• ट्विटरवर https://twitter.com/codeorg
• फेसबुकवर https://www.facebook.com/Code.org
• इन्स्टाग्रामवर https://instagram.com/codeorg
• टम्बलरवर https://blog.code.org
• लिंक्डइनवर https://www.linkedin.com/company/code-org
• गुगल प्लसवर https://google.com/+codeorg

हाय, माझं नाव जॉन.

मी गुगलमध्ये सर्च आणि मशीन लर्निंग टीम्सचा
प्रमुख आहे.

मला वाटतं

सगळ्या जगातले लोक साधे-सोपे प्रश्न
विचारण्यासाठी आणि खूप महत्त्वाचे

प्रश्न विचारण्यासाठी सर्च इंजिनकडे वळतात,

हे खूप प्रेरणादायी आहे.

त्यामुळं आपल्याला शक्य आहेत तितकी

सर्वोत्तम उत्तरं त्यांना देणं ही मोठी
जबाबदारी आहे.

हाय, माझं नाव अक्षया आहे आणि
मी बिंग सर्च टीममध्ये काम करते.

अनेकदा आम्ही कृत्रिम बुद्धिमत्तेचा आणि
मशीन

लर्निंगचा अभ्यास करतो,

पण युजर्स याचा वापर कसा करतील, याचा विचार
आम्हाला करावा लागतो,

कारण शेवटी आपल्याला समाजावर प्रभाव
टाकायचा असतो.

एक साधा प्रश्न विचारूया.

मंगळापर्यंत प्रवास करण्यासाठी किती वेळ
लागतो?

हे निकाल कुठून आले आणि

हा इतर निकालांच्या आधी यादीत का आला?

ठीक आहे, जरा बघूया की सर्च इंजिननं
तुमच्या विनंतीचं

निकालात कसं रूपांतर केलं.

तुम्हाला एक गोष्ट पहिल्यांदा माहिती पाहिजे
की जेव्हा तुम्ही सर्च करता तेव्हा

प्रत्यक्षात सर्च इंजिन वर्ल्ड वाईड वेबकडे
जाऊन तुमचा शोध

त्यावेळी रन करत नाही.

आणि त्याचं कारण म्हणजे इंटरनेटवर कोट्यावधी
वेबसाईट्स आहेत आणि

दर मिनिटाला नवीन शेकडो वेबसाईट्स तयार होत
आहेत.

त्यामुळं जर सर्च इंजिनला

तुम्हाला जे हवंय ते शोधण्यासाठी
प्रत्येक साईटवर जावं लागलं

तर त्याला अनंत काळ लागेल.

त्यामुळं हा शोध अधिक जलद करण्यासाठी,

सर्च इंजिन्स वेबवर सतत आधीच स्कॅनिंग
करत असतात.

तुम्ही नंतर सर्च केल्यावर मदत करण्यासाठी
आधीच माहिती नोंदवून ठेवत असतात.

अशाप्रकारे, जेव्हा तुम्ही मंगळापर्यंतच्या
प्रवासाबद्दल सर्च करता,

तेव्हा सर्च इंजिनकडं तुम्हाला त्याचवेळी माहिती
देण्यासाठी आवश्यक

गोष्टी आधीच असतात.

हे कसं काम करतं ते पाहूया.

इंटरनेट म्हणजे एकमेकांना हायपरलिंकनं
जोडलेल्या पानांचं जाळं आहे.

सर्च इंजिन्स सातत्यानं एक प्रोग्रॅम
रन करत असतात

त्याला स्पायडर असं म्हणतात, तो सगळ्या वेब पेजेसना
भेट देऊन

त्यांच्याबद्दलची माहिती गोळा करतो.

प्रत्येकवेळी त्याला हायपरलिंक मिळाली की,

तो इंटरनेटवर सापडणाऱ्या प्रत्येक पेजला भेट दिली

जाईपर्यंत तिचं अनुसरण करतो.

स्पायडर भेट देत असलेल्या प्रत्येक पेजसाठी,

तो त्याला सर्चसाठी आवश्यक असेल
अशी कोणतीही माहिती सर्च इंडेक्स

नावाच्या एका खास डेटाबेसमध्ये नोंदवून
ठेवतो.

आता, आपण पुन्हा आधीच्या सर्चकडं जाऊया

आणि सर्च इंजिनला या शोधाचा निकाल

कसा सापडला, ते शोधूया.

जेव्हा तुम्ही मंगळापर्यंत प्रवास करण्यासाठी किती वेळ
लागतो असं विचारता,

तेव्हा सर्च इंजिन हे शब्द सर्च इंडेक्समध्ये

शोधतं आणि ताबडतोब इंटरनेटवरच्या ज्या पानांवर
हे शब्द आहेत

त्यांची यादी आणतं.

पण फक्त हे सर्च केलेले शब्द शोधले तर

कोट्यावधी पानं येतील,

त्यामुळं तुम्हाला आधी दाखवण्यासाठी
सर्वांत चांगली जुळणारी

पानं कुठली आहेत, हे सर्च इंजिनला ठरवता
येणं आवश्यक असतं.

इथं हे थोडं अवघड होतं कारण सर्च इंजिनला

तुम्ही काय शोधत आहात त्याचा अंदाज करणं
आवश्यक असतं.

प्रत्येक सर्च इंजिन त्याचा स्वत:चा अल्गोरिदम

वापरून तुम्हाला काय हवं आहे याचा विचार करून
त्यानुसार या पानांची क्रमवारी लावतं.

सर्च इंजिनचा हा रँक अल्गोरिदम

तुम्ही शोधलेला शब्दसमूह पानाच्या शीर्षकात
आहे का, ते पाहू शकतं,

किंवा सगळे शब्द एकमेकांजवळ आहेत का ते
पाहू शकतं,

किंवा इतर असंख्य कॅलक्युलेशन्स करतं

त्यामुळं त्याला तुम्हाला पहायची असलेली

आणि पहायची नसलेली पानं ठरवायला
मदत होते.

गुगलनं सर्वांत सुयोग्य निकाल शोधण्यासाठी

सर्वांत प्रसिद्ध अल्गोरिदम शोधला आहे.
दिलेल्या पानाला इतर किती वेब पेजेस जोडलेली

आहेत, ते यात विचारात घेतलं जातं.

यामागची कल्पना अशी आहे की
खूप वेबसाईट्सना हे

वेबपेज रंजक आहे, असं वाटत असेल तर,

ते कदाचित तुम्ही शोधत असलेलं
पान असेल.

या अल्गोरिदमला पेज रँक असं म्हणतात.

तो वेब पेजेसना रँकिंग देतो म्हणून नव्हे,

तर त्याचा संशोधक लॅरी पेजवरून हे नाव दिलं आहे.

तो गुगलच्या संस्थापकांपैकी एक आहे.

जेव्हा तुम्ही एखाद्या वेबसाईटला भेट देता, तेव्हा ती
बऱ्याचदा पैसे कमवत असल्यामुळं,

स्पॅमर्स नेहमी सर्च अल्गोरिदमला

फसवण्याचे मार्ग शोधत असतात. त्यांची पाने

निकालात जास्त वर दिसावीत म्हणून.

खोटया किंवा अविश्वासार्ह साईट्स सर्वांत वर दिसू नयेत म्हणून सर्च इंजिन्स त्यांचे

अल्गोरिदम नियमितपणे अद्ययावत करत असतात.

शेवटी, अविश्वासार्ह पानांवर लक्ष ठेवणं

तुमचंच काम आहे. तुम्ही वेब अॅड्रेस पाहून

हा स्रोत विश्वासार्ह आहे, हे सुनिश्चित करू
शकता.

अल्गोरिदम्सनी अधिक चांगले निकाल आणावेत, आणि

ते निकाल प्रतिस्पर्ध्यांपेक्षा जास्त जलद आणावेत

म्हणून सर्च प्रोग्रॅम्स नेहमी सुधारले जात असतात.

तुमचा शोध अजून विशिष्ट करण्यासाठी

हल्लीची सर्च इंजिन्स तुम्ही स्पष्टपणे
न दिलेली माहितीसुद्धा वापरतात.

उदा. जर तुम्ही कुत्र्यांच्या उद्यानांसाठी
सर्च केलात तर

अनेक सर्च इंजिन्स तुम्हाला

तुमच्या जवळच्या सगळ्या कुत्र्यांच्या उद्यानांबद्दलचे
शोध निकाल दाखवतील,

तुम्ही तुमचे ठिकाण टाईप केलेले नसले तरीही.

आधुनिक सर्च इंजिन्सना पानांवरील
शब्दांव्यतिरिक्तसुद्धा

अनेक जास्त गोष्टी समजतात.

तुम्ही शोधत असलेल्या गोष्टीसाठी

सगळ्यात जुळणारे निकाल आणण्यासाठी त्यांना या
शब्दांचा अर्थही कळतो.

उदा. जर तुम्ही वेगवान पिचर असे सर्च
केलेत तर

त्याला तुम्ही खेळाडू शोधत आहात हे कळेल.

पण तुम्ही मोठा पिचर असे सर्च केलेत तर

तो तुम्हाला तुमच्या स्वयंपाकघरासाठीचे पर्याय
दाखवेल.

शब्द अधिक चांगले समजून घेण्यासाठी,
आम्ही मशीन लर्निंग, हा कृत्रिम बुद्धिमत्तेचा

प्रकार वापरतो.

त्यामुळं अल्गोरिदम्सना त्या पानामध्ये केवळ सुट्टी अक्षरे किंवा

सुट्टे शब्द शोधण्याची क्षमताच नव्हे तर

त्यांचा अर्थसुद्धा कळण्याची क्षमता येते.

इंटरनेटची घातांकीय वाढ होते आहे,

पण सर्च इंजिन डिझाईन करणाऱ्या टीम्स
आपले काम व्यवस्थित करत आहेत,

तुम्हाला हवी असलेली माहिती काही कीज
दाबायचा अवकाश की लगेच हजर आहे.