An experiment is described which attempts to derive quantitative indicators regarding
the potential relevance predictability of the intermediate stimuli used to represent
documents in information retrieval systems. In effect, since the decision to peruse
an entire document is often predicated upon the examination of one »level of processing«
of the document (e.g., the citation and/or abstract), it became interesting to analyze
the properties of what constitutes »relevance«. However, prior to such an analysis,
an even more elementary step had to be made, namely, to determine what portions of
a document should be examined.
An evaluation of the ability of intermediate response products (IRPs), functioning
as cues to the information content of full documents, to predict the relevance determination
that would be subsequently made on these documents by motivated users of information
retrieval systems, was made under controlled experimental conditions. The hypothesis
that there might be other intermediate response products (selected extracts from the
document, i.e., first paragraph, last paragraph, and the combination of first and
last paragraph), that would be as representative of the full document as the traditional
IRPs (citation and abstract) was tested systematically. The results showed that:
1. there is no significant difference among the several IRP treatment groups on the
number of cue evaluations of relevancy which match the subsequent user relevancy decision
on the document;
2. first and last paragraph combinations have consistently predicted relevancy to
a higher degree than the other IRPs;
3. abstracts were undistinguished as predictors; and
4. the apparent high predictability rating for citations was not substantive.
Some of these results are quite different than would be expected from previous work
with unmotivated subjects.
Es wird ein Experiment beschrieben, bei dem versucht wurde, quantitative Anhaltspunkte
über die Vorbestimmbarkeit der Relevanzstärke von »intermediate Stimuli« (das sind
irgendwelche Repräsentationsformen eines Dokumentes anstelle des Gesamtdokumentes,
z. B. Titel, Abstrakt, Extrakt) zu gewinnen. Da der Entschluß, ein Dokument vollständig
durchzulesen, sich häufig auf die Durchsicht einer »Bearbeitungsstufe« des Dokumentes
(z. B. ein Zitat oder eine Zusammenfassung) stützt, ist es interessant, die Eigenschaften
zu untersuchen, die »Relevanz« ausmachen. Vor einer solchen Analyse mußte jedoch zunächst
einmal geklärt werden, welche Teile eines Dokumentes daraufhin untersucht werden sollten.
Unter kontrollierten experimentellen Bedingungen wurde die Brauchbarkeit von Intermediärprodukten,
die als Schlüssel zum Informationsgehalt des Gesamtdokumentes dienen, geprüft, um
die Relevanzentscheidung, die nachfolgend von thematisch interessierten Benutzern
des Systems nach Durchlesen des gesamten Dokuments getroffen wurde, vorauszusagen.
Systematisch wurde dabei die Hypothese getestet, daß andere Intermediärprodukte (ausgewählte
Auszüge aus dem Dokument, wie z. B. erster und letzter Absatz der Arbeit oder die
Kombination von beiden) möglicherweise genau so repräsentativ für den vollen Text
sein könnten wie die traditionellen Zwischenprodukte (Zitat und Zusammenfassung).
Die Untersuchungsergebnisse zeigten:
1. es besteht kein wesentlicher Unterschied zwischen den verschiedenen Auswertungsgruppen
hinsichtlich der Anzahl zutreffender Relevanzbewertungen im Vergleich zur nachfolgenden
Relevanzentscheidung des Benutzers nach Durchlesen des gesamten Dokumentes;
2. die Kombination von erstem und letztem Absatz einer Arbeit liefert eine höhere
Quote voraussagbarer Relevanz als die übrigen Zwischenprodukte;
3. Zusammenfassungen sind für die Relevanz-Voraussage nicht differenziert genug;
4. die anscheinend hohe Voraussagequote von Zitaten (Titelangaben) konnte nicht bestätigt
werden.
Einige dieser Untersuchungsergebnisse weichen erheblich von den Resultaten früherer
Arbeiten mit
