Soziale Suchdienste und algorithmenbasierte Suchmaschinen im Vergleich

social-search

In jüngerer Zeit kann man beobachten, dass im zunehmenden Maße Suchmaschinen mit alternativen Suchansätzen in den Markt treten. Eine besondere Rolle spielen dabei die so genannten sozialen Suchdienste, die in verschiedenen Ausprägungsformen existieren und bei denen die Anwender – im Gegensatz zu Suchmaschinen wie Google, Yahoo oder Ask – in die Generierung des Indexes einbezogen werden. Bislang steht die wissenschaftliche Auseinandersetzung mit solchen Suchdiensten jedoch noch am Anfang. Im Rahmen eines Projektes mit Prof. Dr. Dirk Lewandowski haben wir im Wintersemester 2007/2008 daher ein Seminar zum Thema „Soziale Suchdienste“ durchgeführt. Dabei ging es unter anderem darum, die Trefferrelevanz von algorithmenbasierten Suchmaschinen mit sozialen Bookmarksystemen und Frage-Antwort-Diensten zu vergleichen. An dieser Stelle möchte ich in Kurzform einen Teil der Ergebnisse vorstellen, die in wenigen Wochen ausführlicher als Herausgeberband erscheinen; die unten skizzierten Ergebnisse entstammen der Seminararbeit von Olga Gammer, Heidi Meißner, Magdalena Preckel und Robert Oehlert.

Um eine Antwort darauf zu finden, inwieweit soziale Suchdienste mit Google & Co. konkurrieren können, wurde ein Relevanztest mit den folgenden drei Suchdiensttypen durchgeführt:

  • Bei den algorithmenbasierten Suchmaschinen wurden Google, Yahoo und MSN gewählt, bei denen es sich um die drei größten Suchmaschinen mit einem eigenen Index handelt.
  • Mit Mister Wong und del.icio.us wurden das bekannteste deutschsprachige und englischsprachige soziale Bookmarksystem in die Untersuchung mit aufgenommen.
  • Schließlich wurden auch die Frage-Antwort-Dienste LycosIQ und Yahoo Clever in die Auswertung einbezogen, die ebenfalls als eine Ausprägung sozialer Suchdienste anzusehen sind.

An jeder der hier genannten Suchdienste wurden über 50 Suchanfragen gestellt, deren Ergebnisse einer Gruppe von Juroren anonymisiert vorgelegt wurde. Den Juroren war somit weder der Rank der Suchergebnisse noch die zu evaluierende Suchmaschine bekannt. Unter anderem wurden dabei die

  • Precision der Suchergebnisse,
  • Verständlichkeit der Suchergebnisse und
  • Vertrauenswürdigkeit der Suchergebnisse bewertet.

Die Precision bezieht sich auf den prozentualen Anteil der relevanten Treffer im Vergleich zur Gesamtzahl der gefundenen Treffer. Dabei stellte sich heraus, dass Google mit einer Precision von 46 Prozent am besten abschnitt (vgl. Abb. 1). Im Vergleich zu MSN liefert Google etwa 15 Prozent mehr relevante Treffer. Vergleicht man die algorithmischen Suchmaschinen mit den Social-Bookmarking- und Frage-Antwort-Diensten, erzielen letztgenannte deutlich mehr relevante Ergebnisse. Das insgesamt schlechte Abschneiden der Bookmarksysteme wurde vor allem darauf zurückgeführt, dass sie sehr viele tote Treffer aufweisen und offenbar Probleme haben, ihren Index auf einem aktuellen Stand zu halten.

Precision

Abb. 1: Precision der Suchergebnisse

Auch im Hinblick auf die Verständlichkeit der Suchergebnisse, wiesen die Bookmarksysteme den größten Anteil unverständlicher Treffer auf. Besonders auffällig war dabei, dass die Juroren bei del.icio.us 25 Prozent aller Treffer als unverständlich bewerteten (vgl. Abb. 2).

Verständlichkeit

Abb. 2: Verständlichkeit der Suchergebnisse

Weiterhin wurde überprüft, inwieweit die Suchergebnisse als vertrauenswürdig wahrgenommen wurden. Auch bei diesem Kriterium schnitten Google & Co. eindeutig besser als soziale Bookmarksysteme ab (vgl. Abb. 3).

Vertrauen

Abb. 3: Vertrauenswürdigkeit der Suchergebnisse

Aus den an dieser Stelle nur knapp skizzierten Ergebnissen geht hervor, dass soziale Suchdienste zum gegenwärtigen Zeitpunkt noch nicht mit algorithmenbasierten Suchmaschinen konkurrieren können. Dem ist aber auch hinzuzufügen, dass soziale Bookmarkdienste zur Verwaltung privater Linksammlungen und nicht als Suchdienst konzipiert wurden.

Nachtrag (20.03.2008): Die vollständigen und ausführlichen Ergebnisse dieses studentischen Projektes werden Mitte 2008 sowohl als Herausgeberband als auch als kostenloses PDF veröffentlicht. Die PDF-Datei wird auf der Seite von Prof. Dr. Dirk Lewandowski und auf dieser Seite veröffentlicht.

0

20 Comments

  • Marc sagt:

    Und wie vertrauenswürdig sind nach dieser Untersuchung die Ergebnisse von Lycos iQ? In der dritten Abbildung wird Lycos iQ ja gar nicht erwähnt?!

  • Christian sagt:

    Hallo Marc,
    zunächst einmal vielen Dank für Dein Interesse an der Untersuchung. In dem oben skizzierten Beitrag lag der Schwerpunkt auf der Precision. Die Vertrauenswürdigkeit und auch andere hier nicht genannte Kriterien (z. B. „Ausreichende Information“, „Überschneidung der Trefferliste“) wurden aus methodischen Gründen nur für algorithmenbasierte Suchmaschinen und soziale Bookmarksysteme untersucht. In anderen Seminararbeiten – deren Ergebnisse ich an dieser Stelle noch nicht vorgestellt habe – werden Frage-Antwort-Dienste jedoch umfassender beleuchtet. Wenn bei Dir Interesse besteht, kann ich Dir gerne ein Rezensionsexemplar des Herausgeberbandes zukommen lassen. Bis zum Erscheinungstermin wird es allerdings noch mehrere Wochen dauern.
    Viele Grüße
    Christian

  • Marc sagt:

    Hi Christian,

    an dem Herausgeberband bin ich natürlich sehr interessiert. Wenn ich Lycos iQ anschaue, halte ich den Aspekt der „ausreichenden Informationen“ gerade für spannend. Schließlich erlaubt iQ ja Nachfragen in Form von Kommentaren.
    Gruß Marc

  • […] Zum Artikel Soziale Suchdienste und algorithmenbasierte Suchmaschinen im Vergleich. […]

  • Christian sagt:

    Hallo Christian,
    an dem Herausgeberband wäre ich auch sehr interessiert. Gibt es eine Möglichkeit sich irgendwo vormerken zu lassen?
    Wenn ich das jetzt nicht mache, verliere ich es eventuell wieder aus den Augen und das wäre schade.

    Gruß,
    Christian

  • marcel weiss sagt:

    Hmm, da ich fast täglich neben Google auch Dienste wie del.icio.us zur Recherche einsetze, betrachte ich diese meinen eigenen Erfahrungen diametral gegenüberstehenden Ergebnisse ziemlich ungläubig.
    Besonders del.icio.us ist in vielen Bereichen Google mittlerweile überlegen. Allerdings muss man das dann auch völlig anders verwenden. Sprich mit anderen Suchparametern an del.icio.us rangehen als man das bei Google oder einer anderen algorithmischen Suchmaschine macht.
    Wäre interessant, ein oder mehrere konkrete Beispiele durchgeführter Suchen hier zu sehen. Wäre das möglich?

  • Christian sagt:

    @ Christian: Wir sind gerade auf der Suche nach einem Verlag, wo wir die Ergebnisse sowohl als kostenloses PDF als auch als herkömmliches Buch veröffentlichen können (beim Verlag Dr. Hut ist das z. B. möglich). Das wäre unsere bevorzugte Lösung. Hier sollten wir kurzfristig ein Feedback von den Verlagen erhalten.

    @ Marcel: Bei den Ergebnisse war ich ebenfalls überrascht, zumal wir in einem Paper zum Thema „Sieben Thesen zur Bedeutung des Social Bookmarkging“ teilweise auch andere Hypothesen aufgestellt haben; den Beitrag steht auf dieser Seite zum Download zur Verfügung. Weiterhin muss man an dieser Stelle berücksichtigen, dass in diesem studentischen Projekt nur 50 Suchanfragen ausgewertet worden sind. Dennoch finde ich die Ergebnisse sehr spannend, weshalb Dirk und ich uns auch dazu entschlossen haben, diese und andere Seminararbeiten in Form eines Herausgeberbandes zu veröffentlichen.

  • Christian sagt:

    Eventuell ist ja auch lulu eine Option im Bezug auf die Veröffentlichung.

  • marcel weiss sagt:

    Gehe ich recht in der Annahme, dass zum Vergleich einer Suche die gleichen Suchbegriffe für Google und del.icio.us (und alle anderen) verwendet wurden?

  • Christian sagt:

    Anbei noch ein paar kurze Ausführungen bezüglich der methodischen Vorgehensweise: Um die Trefferrelevanz bei algorithmischen Suchmaschinen, Sozialen Bookmarkseiten und Frage- und Antwortdiensten zu überprüfen, wurden zunächst 50 zufällig ausgewählten Suchanfragen aus einem Suchmaschinen-Logfile entnommen und zur weiteren Prüfung herangezogen. Die Suchanfragen wurden anschließend an die folgenden Dienste gestellt: Google, Yahoo und MSN (algorithmische Suchmaschinen), Mr. Wong und del.icio.us (Social Bookmarking), sowie YahooClever und LycosIQ (Frage- und Antwortdienste). Unter Berücksichtigung der in einem Pre-Test ermittelten etwaigen Problemfaktoren, wurden die gewonnenen Treffer aller Suchdienste anonymisiert. Zufällig geordnet, gingen diese an eine Gruppe von Probanden, welche die Relevanz eines jeden Treffers anhand eines Bewertungsbogens individuell beurteilen mussten. Insofern eine etablierte Vorgehensweise bei einem Relevanztest.
    VG
    Christian

  • […] dazu: Gelesen bei Agenturblog.de Christian Maaß hat auf seinem neuen Blog erste Informationen zu den Ergebnissen eines umfangreichen Projektes […]

  • […] Original Article: Soziale Suchdienste und algorithmenbasierte Suchmaschinen im Vergleich […]

  • soran sagt:

    der gründer von wong kommentiert diesen blog artikel in seinen bookmarks: „Dafür das es Mister Wong erst zwei Jahre gibt, sind das doch bombastische Werte :)“. also ich kann selbst bei simpelsten vertippern oder mehrzahl/einzahl drehern sachen bei wong in der suche nicht finden, die da aber drin sind.

  • Marcus sagt:

    social bookmarking Dienste brauchen noch etwas Entwicklungszeit, um mittels der Empfehlungen (Links) und Klassifizierung (Tagging) von Menschen, bei jeder Suchanfrage zufrieden stellende, relevante Suchergebnisse liefern zu können.

    Ich halte es „heute“ für verfrüht social bookmarking Suchergebnisse mit denen der klassischen Suchmaschinen mit Blick auf die „Relevanz“ zu vergleichen. Einen Versuch ist es natürlich durchaus wert.

    Erwähnung sollte jedoch finden, dass es bei social bookmarking Diensten primär um die „Empfehlungen“ von anderen geht. Das, was Menschen meines Vertrauens in den Weiten des Webs „entdeckt“ haben und für „gut“ befunden haben. Nutzt man technologisch durchdachte social bookmarking Dienste mit Freunden, Kollegen, Kommilitonen, etc. zusammen, entstehen durch das gemeinsame Klassifizieren (Taggen) in Verbindung mit einem „social algorithmus“ sehr relevante Ergebnisse innerhalb dieser „Gruppen.

    Bei oneview.de addiert man z.B. jeden öffentlichen Index eines Freundes zu seiner ganz persönlichen „Empfehlungssuchmaschine“. Dieser Index wird mit einem oneview eigenen social algorithmus nach Relevanz-Kriterien gefiltert. Die Ergebnisse innerhalb „Links meiner Freunde“ sind bei einer entsprechenden Masse an Links überzeugend. Ich muss dazu sagen, dass ich mehr als 60 „Freunde“ zu meinem Index addiert habe und dadurch „heute“ auf über 25.000 Links zugreife. Wenn man die Entwicklung des Index eines solchen „Empfehlungsfreundeskreises“ prognostiziert, ergibt sich daraus zukünftig ein enormer Fundus an Wissen, auf den ich z.B. mit meinem Handy zugreifen kann, um „relevante“ Informationen mittels Abfrage von Suchbegriffen aus einer Gruppe von Menschen mit „ähnlichem“ Sprachgebrauch (Klassifizierung mittels TAGS) an jedem Ort der Welt zu finden.

    Aber dies ist nur eine Möglichkeit. Social bookmarking sollte nicht nur in Bezug auf relevante Suchergebnisse analysiert werden, sondern vor allem im Hinblick auf die Kombinatorik, dies vor allem mit Blick auf die semantischen Möglichkeiten des Taggings.

    Es ist nicht richtig pauschal zu sagen, dass social bookmarking Dienste nicht Algorithmen basierte Suchmaschinen sind. Das ist abhängig vom jeweiligen social bookmarking Anbieter. Richtigerweise sollte man unterscheiden zwischen Suchmaschinen, die sich Robots zur Indexierung des Webs bedienen und Suchmaschinen die den Menschen als „Entdecker“ und „Filter“ von Informationen im Web nutzen.

    Wie sich die Suchergebnisse aus dem Index des jeweiligen Anbieters später zusammensetzen, hängt dann von dem individuellen Anbieter-Algorithmus ab. Das ist im Falle von Google der bekannte Page-Rank Algorithmus in Kombination mit anderen. Bei social bookmarking bzw. social search Anbietern kann der Einsatz eines Algorithmus abhängig von der Zielsetzung sein. Geht es um das Ausliefern von „Entdeckungen“, dann bedient man sich einer chronologischen Darstellung, teilweise ohne algorithmische Berechnung. Die Chronologische Darstellung, die das Entdecken von „neuem“ ermöglicht (gerade eingetroffen) kann dann in Kombination mit beliebigen Parametern algorithmisch „aufbereitet“ werden, welches dann bei einer gewissen Anzahl von Tags & Menschen zu einer URL eine sehr scharfe Klassifizierung schafft, die wiederum zu sehr relevanten Suchergebnissen führt.

    Bei Interesse schauen Sie sich doch mal http://www.oneview.de an, einmal im Bereich der Suche, dann des Taggings (Listen) und vielleicht auch die Netzwerke als vertikale Suchmaschinen. Mehr dazu auch in unserem Blog http://blog.oneview.de

  • Ingmar sagt:

    Moin!
    Jetzt haben wir Mitte 2008 :-)
    Sind die ausführlichen Ergebnisse dieses studentischen Projektes denn schon verfügbar? Bin sehr daran interessiert.
    Gruß,
    Ingmar

  • Christian sagt:

    @ Ingmar: Das Buch ist gerade aus dem Lektorat gekommen und muss noch ein bissel angepasst werden. In etwa zwei Wochen geht es hoffentlich an den Veralg, der dann noch einmal zwischen zwei und vier Wochen benötigt.
    Gruß,
    Christian

  • […] wichtig, wie vertrauenswürdig eine Quelle erscheint, eine interessante Studie findet sich hier. Wie interpretieren wir also Ergebnisse, welche wir auf dem Silbertablett geliefert bekommen. Sind […]

  • Lonesome sagt:

    Sehe ich auch so

  • Sabine sagt:

    kommt mir bekannt vor

  • carmen sagt:

    gibt es davon schon ne aktuelle auwertung?

Leave a Reply