Algorithm-Forge Blog

Englisch und über langweiligen Mathe-, Statistik- und Programmierkram, daher ist er nun abgetrennt von diesem hier.

Jetzt scheinen sie aber gegen diese häufig vorkommende Verwechslung vorgehen zu wollen:

Für Artikel und Bücher existieren

• Bibliotheken und Online-Archive,
• Systematiken und Kataloge, um schnell das Gesuchte zu finden,
• sowie Regeln zum Zitieren.

Quantitative Daten

• finden sich eventuell auf den Webseiten einzelner Forscher,
• jedoch ist die Erlaubnis zur Verwendung oft unklar,
• URLs veralten schnell oder die Daten verschwinden ganz nach einiger Zeit,
• Formate sind eventuell inkompatibel,
• Änderungen an Daten können nicht nachvollzogen werden bzw. Daten sind nicht verifizierbar.
• Und wie zitiert man solche Daten?

UNF

Um die Validität von Daten zu gewährleisten, wurde der Universelle Numerische Fingerabdruck (UNF) von Altman & King eingeführt. Dieser Algorithmus wandelt den Datensatz in einen Unicode-Zeichen-String um und wendet eine Hash-Funktion auf diesen an.

Neben C++-Bibliotheken steht auch das R-Package UNF ``Tools for creating universal numeric fingerprints for data'' zur Verfügung. (http://cran.r-project.org/web/packages/UNF/index.html)

Der Methodenaufruf unf(data, digits=8) berechnet z.B. einen numerischen Fingerabdruck für den Datensatz data, wobei die jeweils ersten acht Stellen der Daten berücksichtigt werden.

Der Universelle Numerische Fingerabdruck

• lässt Anderungen an Daten erkennen.
• ist formatunabhängig. Direkt auf Dateien angewendete kryptographische Hash-Funktionen würden im Gegensatz zu ihm für einen Datensatz als SAS Datei andere Werte liefern als für R Binary oder CVS Dateien. (Noch schlimmer wenn in den Dateien wie bei Excel nicht nur die reinen Daten, sondern auch noch Zugriffszeiten oder Pfadangaben gespeichert werden...)
• ist robust gegen insignifikante Rundungsfehler, also insbesondere plattformunabhängig.
• zeigt ebenso falsch eingelesene Daten in Statistikprogrammen auf.

Zitieren von Daten

Minimal werden beim Zitieren Autor, Jahr und Titel angegeben, gefolgt von einem ``Unique global identifier'', über den die Daten gefunden werden können, sowie den UNF-Wert:

Optionale Zitatelemente wie [producer] oder [distributor] können durch Paare ``Wert [Feldname]'' angehängt werden.

TheData.org

Für das Halten der Daten ist die Dataverse Network OpenSource-Software (http://thedata.org/) frei verfügbar. Als Web Applikation wird für die meisten jedoch kein Grund vorhanden sein, die Software lokal zu installieren, sondern man meldet ein eigenes, sogenanntes "Dataverse" bei einem der Data Repositories an.

• Das eigene Dataverse lässt sich unproblematisch in die eigene Homepage unter Berücksichtung des Designs einbauen.
• Die Daten werden persistent, zitatfähig und
• automatisch in verschiedenen Datenformaten zur Verfügung gestellt.
• Für jeden Datensatz können Nutzungsbedingungen festgelegt werden.
• Eine Auswahl statistischer Methoden kann online auf die Daten angewendet werden.

Bibliography

Altman & King2007

Altman, M., & G. King. 2007. A Proposed Standard for the Scholarly Citation of Quantitative Data. D-Lib 13(3/4), http://dlib.org/dlib/march07/altman/03altman.html

31. Oktober 2008: You have approximately 33 visits to your feeds and 271 human visitors to your website today, the average bounce rate is 58.42%, 34 visitors came via search engines.

Der Blog läuft seit 516 Tagen mit durchschnittlich 1.06 Beiträgen und 1.95 Kommentaren pro Tag und im Regelfall kommen zwischen 200 und 300 Leute (ohne Bots) zu Besuch.

Und was interessierte die Leute am meisten?

Das Plugin listet mir 547 Suchanfragen für diesen Monat (was sehr wenig ist - werden nicht alle angezeigt?). Im folgenden finden sich die häufigsten Suchanfragen, die nicht wie z.B. "Matheaufgabe Tentakeln" nur einmal eintrafen:

Wie man sieht war der Tintenfisch-Ausnehmen-und-Braten-Beitrag trotz Kritik meiner Stammleser ein voller Erfolg.

• Statistisches Bundesamt Deutschland – GENESIS – Online Recherche
• Eurostat
• Gemeinsames Datenangebot der Statistischen Ämter des Bundes und der Länder
• NLS-Online, Regional-Statistik-Niedersachsen

Nicht wundern über den Blogeintrag – ich wurde danach speziell gefragt, also kommt’s hier gleich öffentlich hin.

Btw. (aus Wikipedia – Statistik):

Das Wort Statistik stammt vom lateinischen „statisticum“ („den Staat betreffend“) und dem italienischen „statista“ („Staatsmann” oder „Politiker“). Die deutsche Statistik, eingeführt von Gottfried Achenwall (1749), bezeichnete ursprünglich die Lehre von den Daten über den Staat, also Staatstheorie. Im 19. Jahrhundert hatte der Engländer Sir John Sinclair das Wort erstmals in seiner heutigen Bedeutung des allgemeinen Sammelns und Auswertens von Daten benutzt.

in Dortmund einen Vortrag gehalten. Einen Vortrag an den man sich erinnern wird… – vielleicht nicht wegen dem Inhalt, sondern weil sich Bernds vorbereiteter Computer im Talk vor uns ausgeschaltet hat. Von unseren 15 Minuten Vortragszeit warteten wir 10 Minuten darauf, dass der Computer startete. Emule, Antivir, Windows Sicherheitscenter, diverse Mediacenter und andere Programme mussten sich erst starten und mit Informationen versorgen, bevor wir endlich mit Folien weitermachen konnten.

Trotz allem haben wir zu drei Leuten neuen, vielversprechenden Kontakt bekommen und inhaltlich war der Vortrag trotz allem gut. An uns ran kamen von der Präsentation sonst nur zwei Vorträge: In dem einen wurde nach 3 Minuten Einleitung einfach ein Präsentationsvideo abgespielt und im anderen Vortrag hatte der Vortragende sich so erkältet, dass er die Folien ohne Kommentar durchging.

Btw.: Wo kann man in Dortmund sinnvoll übernachten? Ich habe 70€/Nacht für ein Hotel mit dreckigen Handtüchern und ohne WLAN bezahlt! (Wenn ich es selber zahlen müsste, hätte ich sonst in der Uni übernachtet – Ich konnte nicht bei meinem Kollegen übernachten, da wegen Wasserschäden schon seine Freundin notdürftig bei ihm untergekommen war…) Das Hostel in München für 20€/Nacht war in jeder Hinsicht (nagut, es gab kein Frühstück) um Meilen angenehmer…

Vorstellen werden wir das Framework des GUI-Teilprojektes unter dem Titel “Towards a Java Framework for Rapid Development of Graphical User Interfaces for Statistical Applications based on R” auf der UseR im August.

Jemand Interesse?

Macht euch keine Mühe, die Domain auf dem Flyer ins Adressfeld einzugeben – soweit sind wir noch nicht…

Sternzeichen mit Stellarium.

Man schaut in den Himmel und nach einiger Zeit erscheinen die Figuren… bloß der Mond ist heute in Wirklichkeit zu hell.

@Schmooke: Wo ich gerade bei Projekten war – wann programmieren wir die Stereoskopie-3D-Version von Celestia?
(Und btw.: Auch in der Statistik werden anscheinend Stereogramme zur Visualisierung verwendet. Zitat aus RNews Volume 2/2, June 2002, Seite 22.)

But what is a random correlation matrix?

Let's first give a characterization of correlation matrices.

It is well known that for a matrix there exist (multivariate normal distributed) random variables with

if and only if

1. for all ,
2. for all ,
3. is symmetric (therefore all eigenvalues of are real)
4. and all eigenvalues of are greater or equal to zero.

But what is the right notion of randomness for these matrices? For example let's look at the orthogonal matrices. In many numerical applications we need uniformly distributed random orthogonal matrices in terms of the Haar measure.

Unfortunately in our case there is no clear, natural notion of randomness.

Method 1 - Try and Error: We generate a matrix fulfilling no. 1, 2 and 3 of the characterization (these matrices are called pseudo correlation matrices) by generating independent pseudo-random numbers uniformly distributed between -1 and 1 for the entries , .

If this random symmetric matrix is positive semidefinite (i.e. all eigenvalues of are greater or equal to zero), we have the desired result. Otherwise we try again. Here is the corresponding R code:

random.pseudo.correlation.matrix <-
function(n) {
  a <- diag(n)
  for(i in 1:(n-1)) {
    for(j in (i+1):n) {
      a[i,j] <- a[j,i] <- runif(1,-1,1)
    }
  }
  return(a)
}

random.correlation.matrix.try.and.error <-
function(n) {
  repeat {
    a <- random.pseudo.correlation.matrix(n)
    if (min(eigen(a)$values)>=0) return(a)
  }
}

This approach is only reasonable for very small dimensions (try it with ).

Method 2 - Lift the Diagonal:

We denote by the identity matrix. If has the eigenvalues then has the eigenvalues since is a solution of if and only if is a solution of .

So we start again with a pseudo correlation matrix , but instead of retrying if has negative eigen values, we lift the diagonal by and obtain , which is always positive semidefinite. After dividing by we have a correlation matrix which is ``some kind of random''.

Unfortunately the diagonal is accentuated and the smallest eigen value is always zero. The second problem we could avoid by adding where is some random number, but the first remains.

make.positive.semi.definite <-
function(a, offset=0) {
  (a + (diag(dim(a)[1]) * (abs(min(eigen(a)$values))+offset))) /
    (1+(abs(min(eigen(a)$values))+offset))
}

random.correlation.matrix.lift.diagonal <-
function(n, offset=0) {
  a <- random.pseudo.correlation.matrix(n)
  make.positive.semi.definite(offset)
}

Method 3 - Gramian matrix - my favorite: Holmes [Holmes1991] discusses two principal methods for generating random correlation matrices. One of them is to generate independent pseudo-random vectors distributed uniformly on the unit sphere in and to use the Gram matrix , where has as -th column and is the transpose of .

To create the in R, we load the package mvtnorm, generate and set :

random.correlation.matrix.sphere <-
function(n) {
  require("mvtnorm")
  t <- rmvnorm(n,rep(0,n),diag(n))
  for (i in 1:n) {
    t[i,] <- t[i,]/sqrt(t(t[i,])%*%t[i,])
  }
  t%*%t(t)
}

Conclusion: There are futher methods (like e.g. to generate a random spectrum and then construct the correlation matrix), which are not as easy to implement as the ones described above. But just as the three given methods, they all are unsatisfactory in some way because we don't really know how random correlation matrices should be distributed.

For my colleague an average of calculation time does only make sense when he knows which kind of correlation matrices occurs in the applications. He decided to describe and compare the different cases individually.

But does it perhaps make sense to use random correlation matrices as test cases or are the special cases more important? For example, random correlation matrices generated with method 1 and 3 are only singular with probability zero.

Any critique, comments, suggestions or questions are welcome!

And for the next time: Given a correlation matrix C. How do we generate tuples of pseudo-random numbers following a given multivariate distribution with correlation matrix C?

Bibliography

Holmes1991

Holmes, R. B. 1991.
On random correlation matrices.
Siam J. Matrix Anal. Appl., Vol. 12 No. 2: 239-272.