public IEnumerable<RetrievedEventsWithMetaData> ReadAllEvents(EventStoreOffset startOffset, int maxRecordCount)
{
if (!FileEventStore.ExistsValid(_serverFolder, StoreId))
yield break;
using (var store = FileEventStore.OpenForReading(_serverFolder, StoreId))
{
foreach (var record in store.ReadAll(startOffset, maxRecordCount))
{
yield return record;
}
}
}
public IEnumerable <RetrievedEventsWithMetaData> ReadAllEvents(EventStoreOffset startOffset, int maxRecordCount)
{
if (!FileEventStore.ExistsValid(_serverFolder, StoreId))
{
yield break;
}
using (var store = FileEventStore.OpenForReading(_serverFolder, StoreId))
{
foreach (var record in store.ReadAll(startOffset, maxRecordCount))
{
yield return(record);
}
}
}
public IEnumerable<RetrievedEventsWithMetaData> ReadAllEvents(EventStoreOffset startOffset, int maxRecordCount)
{
if (maxRecordCount < 0)
throw new ArgumentOutOfRangeException("maxRecordCount");
if (!AzureEventStore.IsValid(Config, StoreId))
yield break;
// CHECK existence
using (var cont = AzureEventStore.OpenExistingForReading(Config, StoreId))
{
foreach (var record in cont.ReadAll(startOffset, maxRecordCount))
{
yield return record;
}
}
}
static void Main(string[] args)
{
var keywords = File.ReadAllLines("d:\\keywords.txt");
var store = PlatformClient.ConnectToEventStore(Settings.StorePath, Settings.StoreId, Settings.StoreConnection);
//var next = !store.ReadAllEvents().Any() ? new EventStoreOffset(0) : store.ReadAllEvents().Last().Next;
var next = new EventStoreOffset(0);
//Console.WriteLine("находим позиции сайтов");
////находим позиции сайтов
//for (int i = 0; i < keywords.Length; i++)
//{
// try
// {
// Console.WriteLine(keywords[i]);
// new KeywordSerach().FindSitePositionByKeyword(keywords[i], Engine.Google);
// Thread.Sleep(5 * 1000);
// }
// catch (InvalidDataException e)
// {
// MessageBox.Show("Google забанил");
// Thread.Sleep(30 * 1000);
// i--;
// }
//}
Console.WriteLine("находим просканированные страницы сайта");
//находим проскнированные страницы сайтов из топ 100
foreach (var eventsWithMetaData in store.ReadAllEvents(next))
{
if (eventsWithMetaData.StreamId != "EngineSearchResult")
continue;
var keywordResult = KeywordResult.TryGetFromBinary(eventsWithMetaData.EventData);
Console.WriteLine("Ищем страницы сайтов для слова " + keywordResult.Keyword);
for (int i = 0; i < keywordResult.EngineResults.Count; i++)
{
EngineResult engineResult = keywordResult.EngineResults[i];
Console.WriteLine("Слово: {0}\tСайт:{1}", keywordResult.Keyword, engineResult.Url);
new IndexedPages().FindSiteIndexedPages(engineResult.Url, keywordResult.Engine);
}
}
}
public IEnumerable <RetrievedEventsWithMetaData> ReadAllEvents(EventStoreOffset startOffset, int maxRecordCount)
{
if (maxRecordCount < 0)
{
throw new ArgumentOutOfRangeException("maxRecordCount");
}
if (!AzureEventStore.IsValid(Config, StoreId))
{
yield break;
}
// CHECK existence
using (var cont = AzureEventStore.OpenExistingForReading(Config, StoreId))
{
foreach (var record in cont.ReadAll(startOffset, maxRecordCount))
{
yield return(record);
}
}
}
public IEnumerable<RetrievedEventsWithMetaData> ReadAll(EventStoreOffset startOffset, int maxRecordCount)
{
Ensure.Nonnegative(maxRecordCount, "maxRecordCount");
var maxOffset = _checkpoint.Read();
// nothing to read from here
if (startOffset >= new EventStoreOffset(maxOffset))
yield break;
int recordCount = 0;
foreach (var msg in _store.ReadAll(startOffset.OffsetInBytes, maxOffset, maxRecordCount))
{
yield return msg;
if (++recordCount >= maxRecordCount)
yield break;
// we don't want to go above the initial water mark
if (msg.Next.OffsetInBytes >= maxOffset)
yield break;
}
}
public RetrievedEventsWithMetaData(string streamId, byte[] eventData,EventStoreOffset next)
{
StreamId = streamId;
EventData = eventData;
Next = next;
}
