private static void CalculateBasicStatistics(CorpusAdapterWriteDirect corpus)
{
var stb = new StringBuilder();
stb.AppendLine($"Dokumente: {corpus.CountDocuments}");
stb.AppendLine($"Token: {corpus.CountToken}");
stb.AppendLine($"Types: {corpus.GetLayerValues("Wort").Count()}");
var autoren = new HashSet <string>();
var zeitung = new HashSet <string>();
var dtMin = DateTime.MaxValue;
var dtMax = DateTime.MinValue;
var meta = corpus.DocumentMetadata;
foreach (var doc in meta)
{
if (doc.Value.ContainsKey("Autor"))
{
autoren.Add(doc.Value["Autor"]?.ToString());
}
if (doc.Value.ContainsKey("Zeitung"))
{
zeitung.Add(doc.Value["Zeitung"]?.ToString());
}
if (doc.Value.ContainsKey("Absender (Id)"))
{
autoren.Add(doc.Value["Absender (Id)"]?.ToString());
}
if (doc.Value.ContainsKey("Datum") && doc.Value["Datum"] is DateTime)
{
var date = (DateTime)doc.Value["Datum"];
if (date == DateTime.MinValue || date == DateTime.MaxValue)
{
continue;
}
if (date < dtMin)
{
dtMin = date;
}
if (date > dtMax)
{
dtMax = date;
}
}
}
stb.AppendLine($"Autoren: {autoren.Count}");
stb.AppendLine($"Zeitungen: {zeitung.Count}");
if (zeitung.Count > _zeitungenMax)
{
_zeitungenMax = zeitung.Count;
}
stb.AppendLine($"DT-MIN: {dtMin:yyyy-MM-dd}");
stb.AppendLine($"DT-MAX: {dtMax:yyyy-MM-dd}");
File.WriteAllText(corpus.CorpusDisplayname + "_basicStat.csv", stb.ToString());
}
