Sökmotorerna öppnade upp webben

Sökmotorerna öppnade upp webben för att sen centralisera den. Nästan i samma stund som webben lanserades kom de första sökmotorerna. De var enkla och lanserades ihop med katalogsajter och sökte framförallt bland de sajter och länkar som fanns med i den egna katalogen.

Men söktjänster för internet hade funnits redan innan såsom Whois som användes att söka efter användare samt ägare av webbsajter. Det sistnämnda är en funktin som används än idag. Whois började användas 1982. 1990 lanserades Archie för att söka efter filer som fanns tillgängliga via ftp. För sökningar på Gopher lanserades sökmotorerna Veronica och Jughead år 1992 respektive 1993.

De första sökmotorerna på webben

1993 utvecklades också de första sökmotorerna för webben. W3Catalog, WWW Worm, Aliweb, och Jumpstation.

W3Catalog som lanserades 1993 sökte igenom de sajter som sökte igenom existerande webbkataloger. Sajten stängdes 1996 men existerade återigen mellan 2010 och 2023. Oscar Nierstrasz vid universitetet i Genev var den som utvecklade sökprogrammet.

Jumpstation lanserade i december 1993 och var den första sökmotor som indexerade webbsajter på det sätt som sökmotorer gör idag. Med en robot som går runt på internet och samlar in data om webbsajter. Den utvecklades av Jonathon Fletcher från Scarborough i England. Sökmotorn stängdes 1994 efter att Fletcher bytt jobb. Den hade då ett index på 275 000 sidor.

WWWW utvecklades visserligen under 1993 men lanserades inte förrän i mars 1994. utvecklare var Oliver McBryan vid University of Colorado. Det var en sökrobot som indexerade nätet och vid lanseringen hade 110 000 webbsidor indexerats. Redan 1997 kan sökmotorn ha tagits ur bruk.

Aliweb var en sökmotor som var beroende av användarers aktiva deltagande för att anmäla sidor till sajten. Den utvecklades av Martijn Koster under1993 och lanserades i maj 1994. Sökmotorn upphörde efter några år.

Sökmotorer på löpande band

Efter att dessa fyra tidiga webbsökmotorer lanserats kom det nya på löpande band. De byggde på samma teknik som Jumpstation och WWW med robotar som gick runt på nätet och samlade information. 1994 kom WebCrawler, Go.com, Lycos och Infoseek. 1995 lanserades bland annat Yahoo! Search, Excite, MetaCrawler,  AltaVista och flera andra. Året därefter betydligt färre, däribland Seznam, Dogpile, HotBot, Ask Jeeves och tjeckiska Seznam. 1997 följdes de av bland annat AOL Search (som AOL NetFind) och ryska Yandex. Och det blev också en era av ständiga uppköp och fusioner mellan olika bolag och bland sökmotorer som kom att förändras när Google kom att dominera sökmotormarknaden totalt.

10 största sökmotorerna 1995, uppskattat antal månatliga sökningar i miljoner

1. Yahoo, 18
2. Altavista, 13
3. Lycos, 10
4. AOL Search, 7
5. Excite, 7
6. Ask.com, 0,5
7. MSN/Bing, 0,5
8. Naver, 0,2
9. Baidu, 0,1
10. Yandex, 0,1

WebCrawler

Den som skapade och lanserade Webcrawler var Brian Pinkerton på University of Washington. WebCrawler finanseiarde med annonser och verksamheten gick ihop redan 1995. Undetta år köptes sökmotorn av America Online (AOL) som 1996 kompletterade sökmotorn med katalogen GNN Select som de också ägde. Under 1996 var det världelns nästa mest besökta webbsajt och en av de viktigaste sökmotornera.

1997 köptes WebCrawler av Excite men först 2001 började WebCrawler använda Excites index. Samma år blev Yahoo!, Infoseek, Lycos och Excite större som sökmotorer. Excite gick dock i senare samma år i konkurs varvid WebCrawler övertogs av InfoSpace som ägdes av företaget Blucora. De sålde WebCrawler till OpenMail år 2016.

Lycos

Lycos Inc lanserade sökmotorn och katalogen Lycos år 1995 som ett avknoppat projekt från Carnegie Mellon University. Projektet startades 1994 av Michael Loren Mauldin. Starten av Lycos finansierades av CMGI Inc som fick 80% av aktierna. Detta bolag grundades av Glenn and Gail Mathews och dess förste VD var David Wetherell. 1997 köpte detta bolag också GeoCities och skapade Navisite. Under april 1999 var Lycos den största sökmotorn på nätet. Samma år började Lycso använda programvaran AlltheWeb från sökmotorn med samma namn.

I juni 1999 köpte CMGI 83% av AltaVista och senare samma år AdForce och RagingBull.com. 2000 blev Yesmail, uBid och Tallan uppköpta och samtidigt såldes GeoCities till Yahoo och Lycos såldes till Terra Networks (dotterbolag till spanska Telefónica), År 2001 köpte Terra Network också RagingBull.com och året efter GetRelevant. 2004 såldes Lycos till koreanska Daum Communications Corporation som numera heter Kakao och driver en egen sökmotor och wbbportal. Och 2006 såldes Quote.com och RagingBull.com till FT Interactive Data Corporation. 2010 såldes hela Lycos till indiska Ybrant Digital som numera heter Brightcom. 2016 såldes varumärket HotBot.

Infoseek

Sökmotorn och bolaget Infoseek grundades 1994 av Steve Kirsch. Bolaget belv 1995 Netscapes förinställda sökmotor. 1996 var Infoseek den 5:e mest besökta webbsajten, 1997 den 7:e och 1998 den 10:e. 1999 köpte Disney hela Infoseek efer att sen 1998 ha ägt 43%. Samma år flyttade Li Yanhong som varit anställd på Infoseek tilll Peking där han startade sökmotorn Baidu. Sökprogramvara Ultraseek såldes 2000 till Inktomi som sålde den vidare till Verity Inc. Smma år såldes Infoseek Japan till Rakuten. Infoseeks sökmotor lades ner 2001. Rakuten driver dock fortfarande webbportalen Rakuten Infoseek.

Yahoo! Search

Yahoo! Search startades av Yahoo! Inc (Jerry Yang och David Filo) år 1994 som en sökmotor för deras katalogsajt men utvidgades sanrt till att söka på hela nätet. Det kom snabbt att bli den dominerande sökmotorn vilket den var 1998 men gick år 2000 över till att använda sig av sökresultat från Google då kört om Yahoo! i popularitet.

2002 köptes sökföretaget Inktomi upp för att Yahoo vills skaffa sig en egen sökteknologi. Och året efter köpte de Overture Services, Inc. som ägde sökmotorerna AlltheWeb och AltaVista. 2004 började de använda sitt eget index och sin egen teknik istället för Google. Men 2010 började Yahoo! Search istället använda sökresultat från Bing.

2017 köptes verksamheten i företaget Yahoo! Inc av telefonbolaget Verizon som de första två åren placerades i dotterbolaget Oath Inc (numera Yahoo! Inc) tillsamman med AOL och Huffington Post.

Yahoos 15% i kinesiska Alibaba och 35,5% i Yahoo! Japan ingick inte i Verizons köp. Dessa behölls i originabolaget som döptes om till Altaba. Detta bolag sålde sitt ägande i Yahoo! Japan år 2018 och likviderades 2019 varvid de sålde alla sina aktieposter i andra bolag. Sen 2023 är LY Corporation ägare av Yahoo! Japan som använder sökresultat och teknologi från Google.

2021 tog Apollo Global Management över 90% aktierna i det nya Yahoo! Inc från Verizon. Yahoo är idag den tredje störst söksajten i USA och många andra västländer.

Excite

Excite som företag bildades 1993 av 6 studenter, Graham Spencer, Joe Kraus, Mark VanHaren, Ryan McIntyre, Ben Lutch och Martin Reinfried på Stanford University. 1994 investerade International Data Group i företaget för att de skulle skapa en webbportal, och 1994 ledde Vinod Khosla, på Kleiner Perkins en investeringsrunda som lockade in många nya investerare. Geoff Yang, of Institutional Venture Partners, ordande ytterligare pengar under 1995.

1996 köpte Excite sökmotorn Magellan som startats av Isabel Maxwell (syster Ghislaine Maxwell, känd från Epsteinaffären) år 1993. Köpet genomfördes efter att Excite noterats på börsen. Senare samma år köptes WebCrawler från AOL vilket gav AOL 20% av aktierna i Excite. 1997 köpte Intuit 19% av aktierna i företaget. 1997 blev Excite rekommenderad sökmotor i Microsoft Internet Explorer och ett år senare en förinställd sökmotor i Excite.

Och 1999 ville Sergej Brin och Larry Page, sälja den produkt som senare skulle bli Google Search till företaget. Excites VD George Bell tackade nej. Däremot gick Excite ihop med @Home Network samma år. Telefonbolaget AT&T, blev då största ägare i det sammanslagna företaget. Vid denna tid var Excite den 6:e största portalen och sökmotorn.

2001 stängdes sökmotorn och senare samma år gick bolaget i konkurs. iWon och InfoSpace köpte Excite efter konkursen. Därefter fortsatte affärerna med Excite genom att Ask Jeeves köpte upp företaget år 2004 och sen också köpte Excite Europe från Tiscali. Sökmotorn fanns dock kvar i Infospace med lades ner 2017. Excite Japan köptes helt och hållet av XTech HP år 2018. Det nya moderbolaget bytte namn till Excite Holdings.

2021 upphörde existerande verksamheter i alla länder utom Japan och Exciet som företag försvann.

Metacrawler

Metacrawler var den första ordentliga metasökmotorn, dsv en sökmotor som inte har egan sökmototer utan använder sig av existerande sökmotorers sökresultat. Den togs fram av Erik Selberg och Oren Etzioni på University of Washington.

Den sistnämnde var även en av grundarna av företaget NetBot Inc som dreva MetaCrawler från 1995. Redan 1997 såldes de dock sökmotorn till Go2Net vilket var ett företag som lite senare köptes upp av en av Microsofts grundare, Paul Allen. Samma år köptes Netbot upp av Excite. Go2Net köpttes för sin del upp av InfoSpace Inc år 2000. Men redan innan dess hade Go2Net köpt upp sökmotorn Dogpile.

2014 slogs Metacrawler ihop med Zoo.com och upphörde som självständig sökmotor. Istället ledde domänen till Excite som vid detta tillfälle också ägdes av Infospace som var ett dotterbolag till Blucora. 2016 såldes Infospace till OpenMail som numera heter System1. 2017 återuppstod Metacrawler som sökmotor.

Altavista

Altavista startades av utvecklare, Paul Flaherty, Louis Monier och Michael Burrows på Digital Equipment Corporation (DEC) för att användas internt men det bleva spå bra att det 1995 lanserades på internet. Från 1996 användes det av Yahoo som sökmotor och 1997 hade Altavista 80 miljoner besök per dag. Sistnämnda år lanserade de också en automatisk översättningstjänst, Babel Fish. År 1998 köptes DEC av Compaq. Samma år lanserade Altavista en webbmejltjänst och avtalet med Yahoo upphörde.

1999 gjordes söksajten om till en webbportal enligt den modell som lanserats av Yahoo. Senare under året såldes Altavista till CMGI och de köpte RagingBull.com. År 2000 hade Altavisat närsnat 18% av sökmotormarknaden medan Google hade 7%. 2002 stängdes webbmejlstjänsten och kontona överfördes till Mail.com.  Ett år senare köpte Altavista av Overture Services som i sin tur köptes av Yahoo lite senare samma år. Altavista lades sen ner som egen sökmotor.

Hotbot

Sökmotorn Hotbot lanserades 1996 av tidningen Wired genom deras onlinepublikation HotWired. De använde teknik från Inktomi såväl som deras index. 1998 var sajten en av de 20 mest besökta sajterna på nätet. Den köptes då också upp av Lycos ihop med att de köpte tidningen Wired. Från 2002 var Hotbot en sökmotor där det gick att välja mellan att använda Google, FAST, Inktomi eller Teomas index. År 2011 omvandlades Hotbot till en webbportal men redan 2012 lades denna ner igen och Hotbot blev en enkel sökmotor och inget annat. 2016 sålde Lycos domänen och sökmotorn lades ner.

År 2018 uppstod sökmotorn igen. Nu ägd av ett företag på Seychellerna. Från 2023 ägs sajten av HotBot Limited i Kanada. Ägare av detta företag är Kristen Richardson. Hotbot är numera en AI-baserad sökmotor.

Google och Bing – centralisering

Och 1998 lanserades de sökmotorer som idag dominerar på Internet såsom Google och Bing (som MSN Search). Det var först nu som internet kom att förändras i grunden genom att sökmotorerna kom att dominera surfandet och möjligheten att upptäcka nya webbsajter. Det gav också möjligheterna för bloggosfären att växa fram. Utan sökmotorerna hade det inte skett. Små sajter gick nu att upptäcka lättare. Sökmotorerna ledde alltså inledningsvis till att webben demokratiserades.

10 största sökmotorerna 2000, uppskattat antal månatliga sökningar i miljoner

1. Yahoo, 630
2. Google, 335
3. Altavista, 268
4. MSN/Bing, 203
5. AOL Search, 176
6. Lycos, 150
7. Ask.com, 114
8. Excite, 66
9. Naver, 42
10. Baidu, 44

Google

Google utvecklades 1996 av  Larry Page, Sergey Brin och Scott Hassan men lanserades först 1998. Snabbt tog Google andelar av sökmotor marknaden. År 2000 var andelen 7% och Google var nästa största sökmotor efter Altavista. Några år senare dominerade Google sökmotormarknaden och idag står de för 90% av alla sökningar på Internet.

En stor anledning till det är att Google är den helt dominerande sökmotorn i smarta mobiltelefoner. De gynnade från 2015 mobila sökningar och sajter som hade anpassade sajter för mobiler. Dessutom var Google den inbyggda sökmotorn i Apples webbläsare Safari som finns i alla iPhones såväl som den inbyggda sökmotorn i Google Chrome som dominerar på Android-telefoner. iPhone lanserades 2007 och Android 2008. Där skaffade sig Google nästan en monopolställning på sökmotormarknaden. Deras sökresultat används också av många andra sökmotorer såsom exempelvis DuckDuckGo och Startpage, Google är idag världens mest besökta webbsajt.

Bing

Microsoft lanserade MSN Search år 1998 och de använde då teknik från Inktomi såväl som deras index. 1999 provade de att använd resultat från Altavista en kort tid och sen kombinreade de Inktomi med resultat från Looksmart. 2005 lanserade de ett eget index och började sälja sökresultat till andra sökmotorer. 2006 ersattes MSN Search av Windows Live Search, från 2007 bara Live Search.

Slutligen bytte sökmotorn namn till Bing år 2009. Samma år började också Yahoo att använda sig av sökresultat från Bing. Allt fler sökmotorer kom med tiden att använda sig av sökresultat från Bing. Däribland DuckDuckGo, Excite, Lycos, Ecosia, Qwant, Swisscows, Webcrawler och Yahoo. End el av dessa sökmotorer är idag nedlagda medan Ecosia och Qwant har byggt upp ett eget gemensamt europeiskt index som de idag huvudsakligen använder sig av.

10 största sökmotorerna 2005, uppskattat antal månatliga sökningar i miljoner

1. Google, 13 195
2. Yahoo, 4 173
3. MSN/Bing, 2 199
4. Baidu, 1 603
5. Ask.com, 882
6. AOL Search, 803
7. Yandex, 681
8. Naver, 462
9. Altavista, 198
10. Seznam, 131

Duopol

Med tiden blev Google och Bing så dominerande att webben centraliserades. Ett duopol utvecklades. Sökmotorerna finansierades i ökande utsträckning med reklam och de samlade in allt mer data om användarna vilket sen användes för att sälja annonsplatser med mera till reklamföretag. Reklamen och datainsamling blev i själva verket det viktigast för sökmotorerna och sökfunktionerna underordnades detta. En utveckling som senare förstärks genom användandet av AI i form av LLM (stora språkmodeller). Och sökresultaten blir allt sämre. Sämre och sämre.

Efter att Google och Bing lanserades kom det inte några nya sökmotorer av någon större betydelse förutom koreanska Naver 1999, kinesiska Baidu år 2000. Sen kom brittiska Mojeek och kinesiska Sogou år 2004, Ask.com år 2006, DuckDuckGo 2008, tyska Ecosia liksom Startpage.com under 2009, franska Qwant och schweiziska Swisscows 2014, Kagi 2018 och Brave Search 2021. Det fanns och finns dessutom mängder med andra sökmotorer.

10 största sökmotorerna 2010, uppskattat antal månatliga sökningar i miljoner

1. Google, 79 149
2. Yahoo, 6 967
3. Baidu, 4 615
4. MSN/Bing, 3 869
5. Yandex, 2 174
6. Ask.com, 1 252
7. Naver, 923
8. AOL Search, 834
9. Sougou, 763
10. Seznam, 324

Många av dessa senare sökmotorer lanserades för att utgöra alternativ till centraliseringen och de stora sökmotorerna datainsamling. Det genom att de uttryckligen inte samlar in data om användarna. Detta gäller Mojeek, DuckDuckGo, Ecosia, Startpage, Qwant, Kagi och Swisscows med flera sökmotorer. Många av de nu aktiva generella sökmotorerna använder dock Bing och Googles index. Mojeek och Brave Search har egna index, Kagi använder delvis ett eget index och Qwant och Ecosia använder i huvudsak ett eget gemensamt index. Men de fyller ut med resultat från Bing. Mer om detta och motreaktionen mot Googel och Bing i ett annat inlägg.

10 största sökmotorerna 2015, uppskattat antal månatliga sökningar i miljoner

1. Google, 193 924
2. MSN/Bing, 7 371
3. Yahoo, 5 879
4. Baidu, 3 359
5. Yandex, 2 623
6. Naver, 1 093
7. DuckDuckGo, 874
8. Sougou, 689
9. Ask.com, 440
10. Hansou/360, 436

Från Arpanet till Fediversum

Detta är den fjärde delen i en serie artiklar om framväxten av dagens internet.

1. I begynnelsen var Arpanet
2. Internet skapas
3. Webben förändrar internet
4. Sökmotorer
5. Bloggarna gjorde media mer demokratisk
6. Sociala medier
7. AI – de stora språkmodellerna
8. Fediversum

PS. Bilden i toppen är ett konstverk av Robert Delaunay.