Da verschiedene Vorhersagemodelle nur an der Prognose identischer Zustände verglichen werden können, sind zunächst die Rahmenbedingungen für die Verifikation zu bestimmen. Die Vorhersage erfolgt bis maximal 72 Stunden bzw. 12 Zeitschritte in die Zukunft. Daher werden sowohl in der Adaptionsphase als auch bei der Verifikation durch das Testset nur Zustände betrachtet, die mindestens 12 nachfolgende gespeicherte Positionen bis zum Absterben der jeweiligen Zyklone aufweisen. Nur dann ist überhaupt eine Fehlerbestimmung möglich. Diese Einschränkung erfolgt ebenso, wenn bei der Zeitpunktvorhersage eine Kürzestfristprognose adaptiert wird, was theoretisch eine Vergrößerung des jeweiligen Datensatzes ermöglichen würde. Diese Unterscheidung des Datensatzes nach Vorhersagezeitpunkten wurde in der Vergangenheit häufig durchgeführt (zum Beispiel DeMaria et al., 1990; Elsberry und Peak, 1986; Goerss und Jeffries, 1994; und andere), wird hier aber verworfen, da so die Vergleichbarkeit mit den Modellen mit Adaption über den gesamten Prognosezeitraum verloren gehen würde. Als Nachteil wird dafür in Kauf genommen, daß kleinere Datensätze unter Umständen zu schlechteren Analoga führen können. Insbesondere die Tatsache, daß tropische Zyklonen meist kurz nach dem Landfall aufhören zu existieren (bzw. auf Intensitäten unterhalb Wirbelsturmstärke abgeschwächt werden), fällt hier ins Gewicht, da die letzten 24 Stunden vor dem Landfall die entscheidenden Vorhersagen für eventuelle Sicherungs- und Evakuierungsmaßnahmen hervorbringen. Im Durchschnitt erhöht sich der Zentraldruck eines Hurrikanes über dem Festland oder kalten Wassermassen um 2.5 bis 4 Hektopascal je Stunde (Anthes, 1982), so daß auch starke Stürme mit einem Kerndruck unter 920 Hektopascal (Stärke 5 auf der Saffir-Simpson-Skala, vergleiche Kapitel 1 und Tabelle 3) nach 24 Stunden zu Stürmen mit nur noch geringem Zerstörungspotential abgeflaut sind und somit nicht mehr registriert werden müssen. Insofern werden die letzten Vorhersagen in der Adaption im Durchschnitt etwa 48 Stunden vor dem Landfall liegen, so daß zwar Vorhersagen mit dem Analogmodell bis zum Landfall und darüber hinaus möglich sind, diese aber weder optimal adaptiert noch in die Verifikation eingegangen sein werden.

Für die Verifikation wird der Zeitraum 1989 bis 1996 genutzt, dieser enthält in 86 Stürmen 1566 Positionen, die für eine 72-Stunden-Vorhersage genutzt werden können. Alle in die Verifikation eingehenden Zugbahnen des Datensatzes sind in Abbildung 6 dargestellt. Man erkennt, daß eine Reihe von Stürmen bis weit in den außertropischen Bereich hinein verfolgt und aufgezeichnet wurden. Obwohl diese Zustände nicht mehr als tropischer Sturm gelten, werden sie bei der Verifikation betrachtet.

Abb. 6: Zugbahnen der 86 tropischen Wirbelstürme im Atlantik von 1989 bis 1996

Als Modellbildungszeitraum wird entsprechend der gesamte restliche Aufzeichnungszeitraum von 1886 bis 1988 gewählt. In diesem Zeitraum liegen 864 Stürme mit 12671 für die Adaption geeigneten Zuständen. Die Verifikation erfolgt mit jahresweise wachsender Bibliothek, so daß gewissermaßen der operationelle Einsatz des Programms simuliert wird, ohne daß aber für jedes Jahr eine erneute Adaption durchgeführt wird. Es ist festzustellen, daß eine Reduzierung des Modellbildungszeitraumes auf die Jahre 1951 bis 1988, in denen die Positionen von vornherein im 6-stündigen Takt aufgezeichnet wurden (vergleiche Kapitel 2), zu einer Verschlechterung des Adaptionsergebnisses im Kurzfristbereich um bis zu 5%, im mittelfristigen Bereich ab 60 Stunden dagegen zu einer leichten Verbesserung um weniger als 1% führt (Abbildung 8). Die Vergrößerung der Genauigkeit im Kurzfristbereich durch den vergrößerten Datensatz läßt sich über das erweiterte Angebot an Analoga erklären, da so ein größerer Bereich an statistischen Eigenschaften abgedeckt ist. Die Variabilität der Daten ist sehr groß. Dies kann man zum Beispiel an Abbildung 9 erkennen, wo die Datenreihe der geographischen Längen der Sturmpositionen als gleitendes Mittel über je 1000 Positionen dargestellt ist. Man sieht zum einen die große Variation der mittleren Sturmposition, zum anderen fällt insbesondere die Einführung der flugzeuggestützten Hurrikan-Erforschung ab 1944 auf (erster senkrechter Strich in der Abbildung). Bis zum Beginn der 6-stündigen Datenerfassung 1951 (zweiter Strich) ist die mittlere Position der registrierten Hurrikane um fast 6° nach Osten gewandert, was auf ein deutlich früheres Auffinden von entstehenden Wirbelstürmen hinweist. Betrachtet man den linearen Trend in diesen Zeiträumen, so zeigen die Positionen bis 1944 eine leichte Westdrift, nach 1951 jedoch eine Ostdrift, jeweils von sehr viel stärkeren Variationen überlagert. Ein weiterer Sprung in den Daten findet sich zum Saisonwechsel 1988/1989, welcher durch die dritte Markierung gekennzeichnet ist. Im Mittel liegen die Stürme des Verifikationszeitraumes nochmals 6° weiter östlich als im Zeitraum 1951 bis 1988, ohne daß hierfür ein Grund aus der Datendokumentation ersichtlich wird.

Das in Kapitel 2 angesprochene Überschätzen der maximalen Windgeschwindigkeit bis 1969 könnte ein Grund für die Verschlechterung der mittelfristigen Vorhersage mit vergrößertem Datensatz sein, da die Intensität bzw. die Windgeschwindigkeit für zunehmende Vorhersagezeit immer wichtiger wird (vergleiche Abbildung 7). Bei der zeitlich integrierten Adaption, die für den Vergleich der Bibliotheksgrößen herangezogen wird (30), kann die Fehlervergrößerung durch ungenaue Windwerte offenbar nur im kurzfristigen Bereich durch die größere Abdeckung verschiedener Variationsbereiche ausgeglichen werden. Ein kompletter Verzicht auf die Windwerte dagegen führt zu einer Vergrößerung des Fehlers um durchgehend 0.5 Prozent für den gesamten Vorhersagezeitraum (ohne Abbildung).

Die Möglichkeit der Vorhersageverbesserung mit vergrößertem Datensatz muß für andere Bassins und/oder andere Modelle nicht notwendigerweise auch zutreffen. So hat Annette (1981) für Australien festgestellt, daß bei CYCLOGUE, dem australischen Analogmodell, eine Erhöhung der Bibliotheksgröße um 15% (von ca. 11500 auf knapp 13600) keine nennenswerte Verringerung des Vorhersagefehlers für einzelne Positionen nach sich zieht. Allerdings ist das Programm anschließend in der Lage, für etwa 20% der zuvor nicht erfolgten Vorhersagen (vergleiche Kapitel 3.2.: HURRAN) eine Prognose anzubieten. Daraus kann man ableiten, daß bei einer Bibliotheksvergrößerung in erster Linie schwierig vorherzusagende Zustände, bei denen wenige Analoga in der Nähe liegen, besser prognostiziert werden können. Da das vorliegende Modell keine höchstzulässige Entfernung des Analogons gemäß der benutzten Metrik vorschreibt, bedeutet dies eine Verbesserung der Vorhersagequalität mit wachsender Bibliotheksgröße. Eine ähnliche Änderung des Vorhersagefehlers findet man auch bei einer Verkleinerung des Datensatzes im Bereich jüngerer Aufzeichnungen (vergleiche Kapitel 5.2.).

Abb. 7: Gewicht der Windkomponente (Modell A) gegen Vorhersagezeit bei Adaption gemäß (31). Die untere waagerechte Hilfslinie stellt das euklidische Gewicht bei 20 Komponenten, die obere das Gewicht bei integrierter Adaption dar

Abb. 8: Zeitliche Entwicklung des Vorhersagefehlers (1989 - 1996) in Abhängigkeit von der Bibliotheksgröße; (a) Skill gegen CLIPER; (b) absoluter Fehler (Ensemblegröße jeweils N_E=18, N_A=20; Zugbahnadaption gemäß (30))

Abb. 9: Zeitreihe der gespeicherten Längen der Sturmpsoitionen im Atlantik: gleitender Mittelwert über 1000 Punkte, linearer Trend und Mittelwerte über die Zeiträume 1886-1943; 1944-1950; 1951-1988; 1989-1996 (jeweilige Saisonwechsel: senkrechte Striche)

Wie bereits erwähnt, wird als absolutes Qualitätsmaß der Großkreisfehler (1) des Modells gegen die Best Track Position errechnet und mit demjenigen des CLIPER-Modells verglichen, das ebenfalls mit den Best Track Daten nachgerechnet wird. Aus Gründen der Übersichtlichkeit ist es üblich, den sogenannten Skill (den relativen Fehler) des Modells gegen CLIPER anzugeben. Dieser ist für eine prozentuale Angabe definiert als

(33)

Hierbei stellt F_C den mittleren CLIPER-Fehler und F_M den mittleren Modellfehler über den betrachteten Zeitraum dar. Zu beachten ist, daß diese Definition in der Literatur auch mit umgekehrtem Vorzeichen auftaucht. In dieser Definition, die analog zu (u.a.) Neumann und Pelissier (1981 a,b) sowie Heming (1994) erfolgt, ist das Verifikationsmaß positiv orientiert. Ein positiver Skill bedeutet, daß das Modell besser als CLIPER ist. Bei DeMaria et al. (1990) dagegen bedeutet ein positiver Skill ein besseres CLIPER- als Modell-Ergebnis.