public void ListenTo(DbTopic t)
{
Action<ITweet> act = (arg) =>
{
if (cantTweets >= maxCantTweets)
{
myStream.StopStream();
return;
}
else Console.Out.Write(t.Id + " ");
if (arg.Language != Tweetinvi.Core.Enum.Language.Spanish)
{
//Console.Out.WriteLine("!!! No español: " + arg.Text);
return;
}
IEnumerable<DbTweet> existente = from DbTweet tw in db
where tw.Id == arg.Id
select tw;
// Para modificar un tweet ya almacenado (ej. cuando ya mencionaba a otro tópico) en vez de crear otro distinto.
DbTweet n;
if (existente != null && existente.Count() == 0)
{
n = new DbTweet(arg.Id, arg.Text, arg.CreatedBy.UserIdentifier.ScreenName, arg.CreatedAt, DateTime.Now, arg.RetweetCount);
}
else
{
n = existente.First();
}
if (arg.Coordinates != null)
{
Console.Out.WriteLine("> En: " + arg.Coordinates.Latitude + ", " + arg.Coordinates.Longitude);
n.Coord = new Tuple<float, float>((float)arg.Coordinates.Latitude, (float)arg.Coordinates.Longitude);
}
else if (arg.Place != null)
{
Console.Out.WriteLine("> En: " + arg.Place.FullName);
n.Coord = new Tuple<float, float>((float)arg.Place.BoundingBox.Coordinates[0].Latitude, (float)arg.Place.BoundingBox.Coordinates[0].Longitude);
Console.Out.WriteLine("> O sea: " + n.Coord.Item1 +", "+n.Coord.Item2);
}
Console.Out.Write(n.PosValue + "/" + n.NegValue + " ");
// Evito topics duplicados si ya están en la base de datos.
IEnumerable<DbTopic> res = from DbTopic x in db
where x.Id == t.Id
select x;
DbTopic dbt;
if (res==null || res.Count() == 0) dbt = t;
else dbt = (DbTopic)res.First();
// Saltear tweet en caso de que mencione una palabra prohibida para un tópico dado (e.g. "alejandro" en "sanz")
bool ignore = false;
foreach (String excep in dbt.Except)
if (arg.Text.IndexOf(excep, 0, StringComparison.CurrentCultureIgnoreCase) != -1)
ignore = true;
if (ignore)
{
Console.Out.WriteLine("\n\nIgnorando: " + arg.Text + "\n\n");
}
else
{
if(!dbt.TweetsAbout.Contains(n.Id))
dbt.TweetsAbout.Add(n.Id);
n.About.Add(t.Id);
db.Store(n);
db.Store(dbt);
if (existente.Count() > 0)
TA.ProcessTweet(n);
cantTweets++;
}
};
foreach (String a in t.Alias)
{
myStream.AddTrack(a, act);
}
}
public void ProcessTweet(DbTweet tw)
{
try
{
String[] words = tw.Text.Split(new char[] { ' ', '.', ',', '?', '!', '¿', '¡', ';', ':', '-', '\n', '(', ')', '"', '\'', '[', ']', '+', '|', '“', '”', '…', '*'}, StringSplitOptions.RemoveEmptyEntries);
foreach (String w in words)
{
if (w.Contains('/')) continue; // Ignoro urls
if (w.Length == 1) continue;
if (w.Contains('@')) // Sólo guardo @alias de los topics
{
bool cont = true;
IEnumerable<String> topicUsers = from DbTopic t in db
select t.Alias[1];
foreach(String u in topicUsers)
if(w.ToLower() == u.ToLower())
cont = false;
if (cont) continue;
}
/*
IEnumerable<DbWord> res = from DbWord x in db
where x.Name.Equals(w.ToLower())
select x;*/
int wordValue = 0;
if (Core.words.ContainsKey(w.ToLower()))
wordValue = Core.words[w.ToLower()]; // En lugar de res.First, etc.
bool stopword = false;
if (wordValue == 2) // Caso stopword
{
stopword = true;
//Console.Out.WriteLine("Stopword: " + w);
}
else if (wordValue == 1) tw.PosValue++; // Palabra positiva
else if (wordValue == -1) tw.NegValue++; // Palabra negativa
if (!stopword && w != "")
{
// Se agrega el término
if (!tw.Terms.Contains(w.ToLower()))
tw.Terms.Add(w.ToLower());
if (TermFreq.ContainsKey(w.ToLower())) TermFreq[w.ToLower()]++;
else TermFreq[w.ToLower()] = 1;
}
}
db.Store(tw);
}
catch (Exception e)
{
Console.Out.WriteLine("ProcessTweet: Error analizando tweet.");
Console.Out.WriteLine(e.Message + "\n" + e.StackTrace);
}
cantTweets++;
}
