Arama motoru

İlk arama motoru 1990 yılında bir üniversite öğrencisi olan Alan Emtage tarafından Archie adıyla kuruldu. İngilizce "archive" kelimesinden türemiştir. Bu arama motoru insanların aradıkları dosyaları bulmaya çalışıyordu.^[5] Popüler olmaya başladığında Minnesota Üniversitesi'nden Mark P. McCahill, "www.archie.com"un karşısına 1991'de Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives)'yı çıkardı. Çok geçmeden aynı amaçla Jughead (Jonzy's Universal Gopher Hierarchy Excavation And Display) de kuruldu. İkisi de Dosya aktarım iletişim kuralı çerçevesinde çalışıyordu.

Haziran 1993'te Massachusetts Teknoloji Enstitüsü'nden Matthew Gray, bir indeks adı oluşturmak için kullanılan ve "Wandex" adıyla anılan ilk internet botunu üretti. Sonra Kasım 1993'te kurulan ve internet botu olmayan Aliweb arama motoru, web sitelerinin bilgilerini kullanarak oluşturulmuş ilk arama motoru oldu.

Aralık 1994'te web sayfalarını bulmak amacıyla kendi içerisinde dizin oluşturan ve tasarlanan sorgu programına arayüz ve bir web formu olarak kullanılabilen JumpStation arama motoru oluşturuldu.^[6] Bir ilk olan "tam metin" (full text) tarayıcı arama motoru olan WebCrawler, 1994 yılında Crawler tabanlı tarama özelliği olan ilk ticari arama motoru WebCrawler Washington Üniversitesi’nde geliştirildi.^[4] Önceki arama motorlarının aksine; herhangi bir web sayfasını, her kelimesi için herhangi bir kullanıcının aramasına izin veriyordu. Ayrıca yine 1994 yılında Carnegie Mellon Üniversitesi'nden Dr. Michael Mauldini tarafından üretilip satışa çıkan Lycos, büyük bir ticari çaba oldu. Kısa bir süre sonra; Magellan, Excite, Infoseek, Inktomi, Northern Light ve AltaVista dahil pek çok arama motoru internet ortamında görücüye çıktı ve popülerlik için birbiriyle yarıştı. Ancak bunların içinde bulunan, David Filo ve Jerry Yang'ın kurduğu Yahoo!, insanların ilgisini diğerlerinden çok çekerek web sayfalarını bulmanın en popüler yolu olarak kullanılan arama motorları arasında yer aldı.

Arama motorlarına 1990'ların sonlarına kadar büyük çapta bir yatırım yapılmadı.^[7] Ancak o yıllardan itibaren büyük şirketler ortaya çıkan bu yeni arama motorlarından kazanç elde etmeye başladı. 1998 yılında Google'ı kuran Larry Page ve Sergey Brin, PageRank adlı teknolojilerini satmak istediler ancak alıcı çıkmadı. İnternet ağındaki her sayfayı puanlayan bu sistem; o sayfaya ne kadar çok link verildiyse ve link veren yerlerin puanı ne kadar çoksa, söz konusu sayfaya da o kadar çok puan verme mantığına dayanıyordu. Google'ın sahipleri bu teknolojiyi satamayınca büyüme kararı aldılar ve 35 milyon dolar yatırım kredisi de alınca 1999'da Google Search'ü kurdular. 2000'li yıllarda öne çıkan Google arama motorunun ardından kısa sürede gelişip 2000 yılında Google Araç Çubuğu çıkaran ekip, 2004 yılında kütüphanelerdeki binlerce kitabı Google Book Search adıyla aramaya açtı ve 1 GB kapasite ile Google Mail yani Gmail hizmetini başlattı. Google 2007'nin sonları itibarıyla, en popüler web arama motoru olarak dünya çapında tanınıyordu.^[8][9]

Google 1998 yılında kendi algoritmasını geliştirerek daha güvenilir ve daha hızlı sonuçlar getirebilen bir arama motoru olma iddiasıyla mevcut arama motorlarına rakip olarak piyasaya sürülmüştür. Google sadece sitelerde geçen kelimeleri endekslemekle kalmayıp, diğer sitelerin o siteye verdikleri link, insanların siteye bağlanma sayısı gibi verileri de kullanarak, listelenen sonuçların daha güvenilir olmasını sağlamaya çalışmıştır. Kurulduğu günden bu yana Google endeksleme algoritmasını sıklıkla güncelleyerek, daha hızlı ve daha güvenilir sonuçlar sağlamaya yönelik iyileştirmeler yapmaktadır. Google, bugün kullanıcıların İnternet üzerinden arama yapmak için en çok kullandığı araç konumuna gelmiştir.^[10]

İnternette bilgiye ulaşmada en hızlı ve önemli olan arama motorları kullanımı üzerine yapılan çalışmalar kullanıcıların arama sonuç sayfalarının ilgilenme oranının çok azaldığını göstermiştir. Web sitesi sahipleri için de site linklerinin sonuç sayfalarında ilk sırada olması daha çok site ziyaretçisi anlamına gelir. Web sitelerinin ziyaretçi trafiğini artırmak için sitelerinin linklerinin arama motoru tarafından hızlıca dizine indekslenmesini sağlayan ve indekslenen linklerin, arama motorlarının kısaca ulaşmasını sağlar. PageRank bir internet sayfasının önemini, kendisine kaç bağlantı verildiğine ve bu bağlantıların önem  düzeyine bakarak değerlendiren Google’ın temel algoritmasıdır. PageRank, bir kullanıcı davranış modeli olarak düşünülmüştür. Burada kendisine rastgele bir internet sayfası verilmiş ve sayfadaki bağlantıları tıklayıp, asla geriyi tıklamayan, ancak sonunda sıkılıp, başka bir rastgele sayfadan devam eden bir rastgele sörfçü varsayılmıştır. Bu rastgele sörfçünün bir sayfayı ziyaret etme olasılığı PageRank sayesinde oluşturulur ve kendine yeni bir yol çizer.^[11]

Arama motoru optimizasyonu, arama motorlarının içeriğinizin kullanıcılarının ihtiyaçlarını alakalı arama sorguları için karşıladığına inanmasını sağlayacak bir biçimde bilgi yayınlama sanatı ve bilimidir.^[12]

“Arama Motoru Optimizasyonu”, web sitesinin, bilinen aramalar için arama motorlarındaki (başta Google olmak üzere) sonuçlarda, birinci sıralarda ve birinci sayfada yer alabilmesi için yapılan işlemlerdir. İnternet kullanıcılarının %90’ı arama motorlarını, çevrimiçi bilgiye ulaşabilmek amacıyla kullanmaktadır. Bu nedenle de internet sayfasının arama motorundaki en iyi 20 sonuçtan biri olması bulunabilirlik açısından çok önemlidir. Spor kulübü mağazalarının rakipleri olması nedeniyle arama motoru sonuçlarında web siteleri daima öncelikli olarak yer almaktadır.^[3]

Bu, web sitenizin tüm unsurlarının yüksek arama motoru sıralaması elde etme hedefi ile oluşturulduğu anlamına gelir. Bu öğeler şunları içerir: Giriş ve çıkış sayfaları Sayfa başlıkları Site içeriği Grafikler Web sitesi yapısı Bununla birlikte, bu öğelere ek olarak, anahtar sözcükler, bağlantılar, HTML ve meta etiketleme gibi şeyleri de göz önünde bulundurmanız gerekir. Sayfanızın tüm öğelerini arama motoru dostu olacak şekilde optimize ettikten sonra bile dikkate alınması gereken başka şeyler vardır. Örneğin, web sayfalarınızda tüm doğru tasarım unsurlarına sahip olabilir ve yine de nispeten düşük bir arama motoru sıralamasına sahip olabilirsiniz. Reklam kampanyaları ve güncelleme sıklıkları gibi faktörler de SEO çabalarınızı etkiler. Bütün bunlar, arama motoru optimizasyonu kavramının tek bir öğeye dayanmadığını gösterir. Bunun yerine, arama motoru optimizasyonu birçok unsur ve stratejiye dayanmaktadır. Ve bu, web sitesi yayınlandıktan sonra iş bitmez ve sürekli olarak devam eder. SEO, web sitenizin oluşturduğu trafiği en üst düzeye çıkarmak için yaşayan, nefes alan bir kavramdır ve çünkü bu, sürekli hareket eden bir hedef olduğu anlamına gelir.^[13]

Kısaca arama motoru optimizasyonu, arama motorunun birçok seçenek arasından gerekli bilgileri bulmasını sağlamak, daha optimize edilmiş verileri bulmasına yardımcı olmaktadır. Web arama motorlarının algoritmalar aracılığı ile kullanıcı yerine karar verme mekanizması ise "Bilişimsel Erişim" veya "Makine teknolojisi" olarak adlandırılır.^[14] Başka bir deyişle verilerden bilgi madenciliği yapmaktır. Arama motoru optimizasyonu (SEO) çok genel bir terimdir. Hepsini bir anda anlamak biraz güçtür. Arama motoru optimizasyonu, aslında web sitenizi arama motoru sıralamalarınızı en iyi seviyeye çıkarmak için kullanılan tasarım bilimidir. Arama Motoru Optimizasyonu, site içi ve site dışı diye ikiye ayrılır. Site içi SEO için yapılması gereken işlemler vardır. Bunlar: Özgün içerikler, seflink yapısı, title (başlık) kullanımı, description (açıklama), h etiketleri, sayfa yüklenme hızı vb.

• Özgün İçerikler, yararlı ve özgün içerik oluşturmak web siteleri için ciddi bir önem taşımaktadır. Özgün içerik kullanıcılara ilk bilgiyi veren ya da ilk bilgiyi özgü veren içerik demektir.
• Seflink Yapısı, sitelerin URL formatında yapılan kullanıcıların daha tanıdıkları çalışmalardır. Sef (search engine friendly) arama motoru dostu URL yapısı anlamına gelmektedir. Web sitesi metin sayfasında URL’de anahtar kelime geçiren bir URL yapısı kullanılır.
• Başlık (title) kullanımı, arama motorlarını yazının içeriğinden haberdar eden bu yöntemde başlığı metin ile bağlantılı olarak oluşturarak yazının okunması sağlanmalıdır.
• Açıklama (Description), site içindeki yazı hakkında kısa bilgiler sunulan kısımdır.
• H etiketlerinin kullanımı, site içindeki hiyerarşiyi arama motorlarına ve ziyaretçilere bildiren bir davranıştır. H etiketlerinin büyüklüğü konunun önemini belirttiği için aynı anda kullanılması gerekmektedir.
• Anahtar kelime, yazı içerisinde yüzde iki veya üç gibi bir oranda yer alan kelimeler bütünüdür. Her yazı için değişen bu çalışma biçiminde hem arama motorunu hem de kullanıcıları rahatsız etmeyecek yoğunlukta anahtar kelime kullanımı önemlidir.^[15]
• Yapısal veriler, web sitelerinde yer alan içeriklerin belirli formatlar ile kodlar ile işlenmesi sayesinde arama motoru botları tarafından anlamlandırılmasını sağlayan yapı ve yapılar bütünüdür.

Robot internet üzerinde bulunan web sitelerini, sitelerin birbirlerine verdiği bağlantıları kullanarak otomatik olarak gezer ve bu sayfa içeriklerini saklar. Bu içerik daha sonra indekslenerek hızlı bir şekilde aranabilir hale getirilir. Kullanıcı arabirimi ise bu oluşturulan indeksin aranmasını sağlar.

Bazı Arama Motorlarına site sahipleri, sitelerinin var olduğunu bunlara kayıt yaparak bildirirler. Bu işlem, sitelerin arama motorlarında daha kolay bulunmasını ve indekslenmesini sağlar. Bunlara ek olarak İnternet'te milyonlarca Web sayfası içinde aranan bir bilgiyi bulmayı kolaylaştırmak için çok hızlı ve çok yüksek kapasiteli sunucularla Web sayfalarındaki metinleri endeksleyen servisler (Web siteleri) bulunur. Bunların arama dizini (directory), arama motoru (search engine) veya metasearch gibi farklı türleri olabilir. Arama dizini bilgileri kategoriler halinde sıralar, seçme bilgiler vardır, site sahiplerinin gönderdiği özet bilgi içinde arama yapılır. Arama motoru, aranan sözcükleri içermesi koşuluyla her tür siteyi kullanıcının karşısına getirir. Metasearch, birden fazla arama motorunda arama yapan sitelere verilen addır.

Bu arama sayfalarında, Arama (Search) satırına istenen bilgileri bulmakta kullanılacak kilit sözcükler girilerek ve Search (Ara) düğmesine tıklatılarak; bu sözcüklerin geçtiği Web sitelerinin adresleri liste halinde ekrana gelir. Ancak bu arama motorları da kullanıcının karşısına bu sözcüklerin geçtiği ilgili veya ilgisiz binlerce sayfa getirebilir.

Arama motoru teknolojisinde günümüzde genel amaçlı arama motorlarının yanında belli bir alana yoğunlaşmış arama motoru örnekleri türemektedir. Belli bir alana yoğunlaşmış arama teknolojisine Dikey arama adı verilmektedir.^[15]

Arama motorları mimarisi iki temel süreçten oluşur. Bunlar indeksleme süreci (indexing process) ve sorgulama sürecidir (query process) . İçerik bölümü aramanın yapılabilmesi için yapıyı inşa ederken, sorgulama süreci de sorgulama için bu yapıyı kullanır. Kullanıcı da sorgusuyla bu dokümanlardan sorgusuna en uygun sıralama listesini elde eder. Aşağıdaki şekilde görüldüğü gibi yapı iki bölüme ayrılmıştır. Birinci bölüm sorgulamadan bağımsız (query-independent) çalışırken ikinci bölüm kullanıcının girdiği değere göre, yani sorguya bağımlı bir şekilde çalışmaktadır.

Bu bölüm öyle bir yazılım barındırır ki, bu yazılım web dokümanlarını tarar ve gerekli bilgileri toplayıp analiz eder. Bu işi yaparken kendine çeşitli alanlarda çalışabilecek örümcekler (spiders) üretir.

Google, 2021 yılında yayımlanan Multiple Unified Model 20 Ocak 2022 tarihinde Wayback Machine sitesinde arşivlendi. (MuM) ile birlikte yeni tarama ve anlamlandırma modelleri hakkında büyük bir adım atmıştır.

Bu bölüm tarama motorundan gelen malzemeleri karşılar. Örümceklerin taradığı web sayfaları bu bölümde depolanır ve indeksleme modülüne gidene kadar bu bölümde kalırlar.

İndeks modülü sayfa deposundan aldığı sıkıştırılmamış içeriği, yani web sayfalarını, belli indekslere gönderilmek üzere sıkıştırır. Bu bağlamda indeks modülünün aramada rahatlık sağlaması için hem zaman açısından hem de alan oluşturma açısından etkili olması gerekir. İndeks modülü indeksler bölümünü oluşturduğu için, bir düzen içinde çalışması gerekir. Yani indeks modülü indeks bölümünü oluştururken yeni gelen sayfaların veya var olan sayfaların güncellemelerini hesaba katarak indeks bölümünü oluşturması gerekir.

İndeks bölümü web sayfaları hakkında sıkıştırılmış bilgileri saklar. Birçok çeşit indeks türü vardır. Örneğin içeriği, terimleri, başlıkları vb. tutan “içerik indeksi (content index)” ki bu içerikler sıkıştırılmış formda dönüştürülmüş dosyalarda (inverted file) bulunur, ilgili web sayfasında geçen link bağlantılarını ve link yapılarını sıkıştırılmış biçimde tutan “yapı indeksi (structure index)” ve özel amaçlar için oluşturulmuş “özel amaçlı indeksler (special-pupose indexes)” bulunur.

Sorgulama modülü kullanıcıdan aldığı girdiyi, arama motorunun anlayacağı dile çevirerek sorgunun cevaplanmasını sağlar. Bunu yaparken çeşitli içerik indekslerine başvurur. Mesela içerik indeksine başvurur ve dönüştürülmüş dosyalardan sorgu ile ilgili web sayfalarını bulur. İlgili web sayfaları bulunduktan sonra, bu web sayfalarını sırlama modülüne göndererek sırlamanın gerçekleştirilmesini sağlar.

Arama motorlarının en can alıcı bölümü olan sıralama modülü, sorgulama modülünden kendisine gelen ilgili web sayfalarını en ilgiliden en ilgisize doğru sıralayarak, kullanıcı ara yüzüne gönderir. Bu görevi yerine getirirken olabildiğince etkili yani kaliteli ve hızlı olması gerekir. Bir arama motorunun hızlı ve kaliteli olması için, ilk başta iyi bir indeksleme tekniği ve iyi bir sıralama algoritması kullanması gerekir. Sıralama modülü de bunu gerçekleştirmek için bilgiyi elde etme modellerini kullanarak aldığı web sayfalarını sıralar.^[4]

Tüm büyük arama motorlarının bazı sınırlı editoryal inceleme süreci vardır, ancak büyük arama motorlarındaki alaka düzeyinin çoğu, web'deki bağlantı grafiğinin gücünden yararlanan otomatik arama algoritmaları tarafından yönlendirilir. Aslında, TrustRank gibi bazı algoritmalar, bir arama motorunun editör inceleme ekibinin çoğunu üstlenmesini gerektirmeden web grafiğini güvenilir kaynak sitelere doğru yönlendirir. Bu nedenle, daha zarif arama motorlarından bazıları diğer sitelere bağlananların özünde editör gözden geçirenler olarak bağlantılarıyla oy kullanmalarına izin verir

Dizinler, ölçeklenebilirlik eksiklikleri ve her bir listeyi oluşturmak ve listelenen web sitelerinin kalitesini periyodik olarak kontrol etmek için gerekli insan girdisi nedeniyle bakımı çok daha maliyetli ve ve zaman alıcıdır.

Genel dizinler, büyük ölçüde uzman dikey dizinlere, geçici haber sitelerine (bloglar gibi) ve sosyal yer imi sitelerine yol açmaktadır. Ek olarak, az önce bahsettiğim bu üç yayınlama biçiminin her biri, genel dizinlere olan ihtiyacı (ve kârlılığı) daha da azaltan büyük arama motorlarının alaka düzeyini artırmaya yardımcı olur.^[4]

.^[16]

• SEM
• Search engine marketing
• Anlamsal ağ
• Arama motoru optimizasyonu

^[1]

• Arama Motorları dünyadaki bütün ülkeler 10 Haziran 2010 tarihinde Wayback Machine sitesinde arşivlendi. (Türkçe)
• Curlie'de Search Engines (DMOZ tabanlı) (İngilizce)
• History of Search Engines30 Aralık 2017 tarihinde Wayback Machine sitesinde arşivlendi. (İngilizce)

1. ^ "MUM: A new AI milestone for understanding information". Google (İngilizce). 18 Mayıs 2021. 20 Ocak 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 22 Ocak 2022.