public void Initialize()
{
NBFactory = new NaiveBayesLanguageIdentifierFactory();
RLFactory = new RankedLanguageIdentifierFactory();
NBIdentifier = NBFactory.Load(Path.Combine(ModelFolder, SelectedModel));
RLIdentifier = RLFactory.Load(Path.Combine(ModelFolder, SelectedModel));
}
public DetermineWrongLayoutCommand(UsersRepository usersRepository)
{
_usersRepository = usersRepository;
_naiveBayesLanguageIdentifier =
new NaiveBayesLanguageIdentifierFactory().Load(
GetType().Assembly.GetManifestResourceStream(NgramsEmbeddedFileName));
}
public void TestNaiveBayesLanguageIdentifierFactory()
{
var factory = new NaiveBayesLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile);
var res = identifier.Identify("был зачитан вслух");
Assert.That(res.First().Item1.Iso639_2T, Is.EqualTo("rus"));
var res2 = identifier.Identify("Главная задача сэмпла - предоставить желающим качать возможность оценить реальное качество материала без скачивания всей раздачи целиком. Поэтому вырезать сэмпл надо из середины фильма и без каких либо искажений. Достаточно фрагмента на 1-2 минуты. Заливать сэмпл следует только на файлообменники");
Assert.That(res2.First().Item1.Iso639_2T, Is.EqualTo("rus"));
}
public void TestTrainIdentifyCycle_Naive()
{
TestCase[] testCases = PrepareTestCases();
var factory = new NaiveBayesLanguageIdentifierFactory();
var identifier = factory.Train(
testCases.Select(t => Tuple.Create(new LanguageInfo(t.ISO639_2T, null, null, null), (TextReader) new StringReader(t.Standard))));
foreach (var testCase in testCases)
{
Assert.That(identifier.Identify(testCase.Query).First().Item1.Iso639_2T, Is.EqualTo(testCase.ISO639_2T));
}
}
public void Evaluate()
{
{
var factory = new NaiveBayesLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile, lm => _mostCommonLanguages.Contains(lm.Language.Iso639_2T));
GetConfusions(identifier.Identify, "Naive", _mostCommonLanguages);
}
{
var factory = new RankedLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile, lm => _mostCommonLanguages.Contains(lm.Language.Iso639_2T));
GetConfusions(identifier.Identify, "Ranked", _mostCommonLanguages);
}
}
public void SanityCheck()
{
{
var factory = new NaiveBayesLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile, lm => _mostCommonLanguages.Contains(lm.Language.Iso639_2T ?? lm.Language.Iso639_3));
var result = identifier.Identify("you got me").ToArray();
}
{
var factory = new RankedLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile, lm => _mostCommonLanguages.Contains(lm.Language.Iso639_2T ?? lm.Language.Iso639_3));
var result = identifier.Identify("you got me").ToArray();
}
}
public void SanityCheck()
{
{
var factory = new NaiveBayesLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile, lm => _mostCommonLanguages.Contains(lm.Language.Iso639_2T ?? lm.Language.Iso639_3));
var result = identifier.Identify("you got me").ToArray();
}
{
var factory = new RankedLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile, lm => _mostCommonLanguages.Contains(lm.Language.Iso639_2T ?? lm.Language.Iso639_3));
var result = identifier.Identify("you got me").ToArray();
}
}
public void Evaluate()
{
{
var factory = new NaiveBayesLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile, lm => _mostCommonLanguages.Contains(lm.Language.Iso639_2T));
GetConfusions(identifier.Identify, "Naive", _mostCommonLanguages);
}
{
var factory = new RankedLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile, lm => _mostCommonLanguages.Contains(lm.Language.Iso639_2T));
GetConfusions(identifier.Identify, "Ranked", _mostCommonLanguages);
}
}
public void TestNaiveBayesLanguageIdentifierFactory()
{
var factory = new NaiveBayesLanguageIdentifierFactory();
var identifier = factory.Load(_identifierFile);
var res = identifier.Identify("был зачитан вслух");
Assert.That(res.First().Item1.Iso639_2T, Is.EqualTo("rus"));
var res2 = identifier.Identify("Главная задача сэмпла - предоставить желающим качать возможность оценить реальное качество материала без скачивания всей раздачи целиком. Поэтому вырезать сэмпл надо из середины фильма и без каких либо искажений. Достаточно фрагмента на 1-2 минуты. Заливать сэмпл следует только на файлообменники");
Assert.That(res2.First().Item1.Iso639_2T, Is.EqualTo("rus"));
}
public void TestTrainIdentifyCycle_Naive()
{
TestCase[] testCases = PrepareTestCases();
var factory = new NaiveBayesLanguageIdentifierFactory();
var identifier = factory.Train(
testCases.Select(t => Tuple.Create(new LanguageInfo(t.ISO639_2T, null, null, null), (TextReader)new StringReader(t.Standard))));
foreach (var testCase in testCases)
{
Assert.That(identifier.Identify(testCase.Query).First().Item1.Iso639_2T, Is.EqualTo(testCase.ISO639_2T));
}
}
