/// <summary> /// Оновлює базу блобів та таблицу (mongodb). Файли .gif шукаються у локальній папці, якщо потрібно - завантажуються до хмарного сховища /// </summary> /// <param name="azureBlobConnectionString"></param> /// <param name="azureDBSitePagesConnectionString"></param> /// <param name="sourceFolder"></param> /// <returns></returns> static async Task _UpdateGifFromDisk(string azureBlobConnectionString, string azureDBSitePagesConnectionString, string sourceFolder) { ConsoleLogger logger = new ConsoleLogger(); //конейнер блобів - відповідає лише за збереження бінар.файлів за спец.іменуванням var animatedImagesBlobContainer = new AnimatedImagesBlobContainer(azureBlobConnectionString); //пошук усіх варіантів gif-файлів на диску... var files = Directory.EnumerateFiles(sourceFolder, _GIF_FILES_MASK, SearchOption.AllDirectories); int count = 0; int counterForLog = 0; int added = 0; foreach (var fileName in files) { int t2 = Environment.TickCount; //UploadImage перевіряє, якщо такий файл є, нічого не робить string blobName = animatedImagesBlobContainer.UploadImage(fileName, out bool upladedNewImage); t2 = Environment.TickCount - t2; if (upladedNewImage) { logger.Log("{0} - uploaded to blob: {1} ({2} ms)", fileName, blobName, t2); added++; } count++; counterForLog++; if (counterForLog >= 25) { logger.Log("Processed {0} files...", count); counterForLog = 0; } } //foreach logger.Log("Processed {0} files, new uploaded to azure: {1}", count, added); //Тепер необхідно "актуалізувати" базу у mongodb - виконати до-вантаження (або створити) базу анімованих зображень з наявних блоб-об'єктів //TODO@: тут немає варіанту якщо блоб було "видалено", подумати про це DatabaseUpdater upd = new DatabaseUpdater(azureBlobConnectionString, azureDBSitePagesConnectionString, logger); await upd.UpdateAnimatedBlobDataBase(); }
/// <summary> /// Вичитує блоби, аналізує чи є вони у базі, якщо ні - додає /// </summary> public async Task UpdateAnimatedBlobDataBase() { _Log.Log("UpdateAnimatedBlobDataBase started..."); var animatedImagesBlobContainer = new AnimatedImagesBlobContainer(_AzureBlobConnectionString); string[] blobNames = animatedImagesBlobContainer.GetBlobNames(); if (blobNames == null || blobNames.Length == 0) { _Log.Log("Blobs not found"); return; } _Log.Log("Found {0} animated blobs", blobNames.Length); var db = new Database(_AzureSiteDBConnectionString, true, null); AnimatedImageCollection animatedImageCollection = new AnimatedImageCollection(db, null, true); var imagesCollection = animatedImageCollection.AnimatedImages; int added = 0; foreach (var blobName in blobNames) { FilterDefinitionBuilder <AnimatedImage> def = new FilterDefinitionBuilder <AnimatedImage>(); var filter = def.Eq(x => x.BlobName, blobName); bool recordFound = false; using (var cursor = await imagesCollection.FindAsync(filter)) { while (cursor.MoveNext()) { foreach (var img in cursor.Current) { //что-то нашлось, пропуск... recordFound = true; break; } } } if (!recordFound) { //создаем новую запись в базе AnimatedImage animatedImage = new AnimatedImage { BlobName = blobName }; await imagesCollection.InsertOneAsync(animatedImage); added++; _Log.Log("Added: {0}", blobName); } } _Log.Log("UpdateAnimatedBlobDataBase finished, added: {0}", added); }
public static async Task Run([TimerTrigger("0 0 * * * *")] TimerInfo timer, ILogger log) { //https://docs.microsoft.com/ru-ru/azure/azure-functions/functions-bindings-timer?tabs=csharp#ncrontab-expressions //0 */5 * * * * - каждые 5 мин //"0 0 * * * *" - каждый час Logger logger = new Logger(log); logger.Log($"TweetPostFunction executed at: {DateTime.Now}"); string animatedBlobConnectionString = kawaii.twitter.core.Env.EnvironmentSecureData.GetValueFromEnvironment("env:kawaii_twitter_azure_animatedblob"); string azureSiteDBConnectionString = kawaii.twitter.core.Env.EnvironmentSecureData.GetValueFromEnvironment("env:kawaii_twitter_azure_sitepages"); if (string.IsNullOrEmpty(animatedBlobConnectionString)) { logger.LogError("animatedBlobConnectionString not found!"); return; } if (string.IsNullOrEmpty(azureSiteDBConnectionString)) { logger.LogError("azureSiteDBConnectionString not found!"); return; } IDatabase database = new Database(azureSiteDBConnectionString, true, null); logger.Log($"database connected: {DateTime.Now}"); //если в переменных задано что "не обновлять индексы", то мы сэкономим время работы в прод-окружении - индексы создаются один раз, //и дальше и так работают, хотя MongoDB и говорит что "нет проблем". //Если будет нужно обновлять индексы, или будет новое окружение (новая база, коллекция и прочее) то эту переменную среды надо убрать. //А когда все настроено и уже работает, ее можно создать для общего ускорения string dontCreateIndexesStr = kawaii.twitter.core.Env.EnvironmentSecureData.GetValueFromEnvironment("env:kawaii_twitter_dont_create_indexes"); bool dontCreateIndexes = false; if (!string.IsNullOrEmpty(dontCreateIndexesStr)) { bool.TryParse(dontCreateIndexesStr, out dontCreateIndexes); } if (dontCreateIndexes) { logger.Log("Indexes will not updated (found env:kawaii_twitter_dont_create_indexes)"); } AnimatedImageCollection animatedImageCollection = new AnimatedImageCollection(database, null, !dontCreateIndexes); var imagesCollection = animatedImageCollection.AnimatedImages; logger.Log($"imagesCollection init done: {DateTime.Now}"); SitePageCollection sitePageCollection = new SitePageCollection(database, null, !dontCreateIndexes); var sitePagesCollection = sitePageCollection.SitePages; logger.Log($"sitePagesCollection init done: {DateTime.Now}"); ITwitterTextCreator textCreator = new kawaii.twitter.core.Text.TwitterTextCreator(); IImageOnWeb imageOnWeb = new kawaii.twitter.core.HtmlParsers.ImageOnWeb(_HttpClient); ITwitterImageURL twitterImageURL = new kawaii.twitter.core.HtmlParsers.TwitterImageURL(_HttpClient); //--- блок для lastTweetUpdater var dateSupply = new kawaii.twitter.core.Env.DateSupply(); IAnimatedTweetDateUpdater animatedTweetDateUpdater = new AnimatedTweetDateUpdater(imagesCollection); ISitePageTweetDateUpdater sitePageTweetDateUpdater = new SitePageTweetDateUpdater(sitePagesCollection); ILastTweetUpdater lastTweetUpdater = new kawaii.twitter.core.SelectLogic.LastTweetUpdater(dateSupply, animatedTweetDateUpdater, sitePageTweetDateUpdater); //--- //сервису твиттера нужно передать авториз.данные var service = new kawaii.twitter.core.TwitterService.Service(); var animatedImagesBlobContainer = new AnimatedImagesBlobContainer(animatedBlobConnectionString); IBlobDownload blobDownload = animatedImagesBlobContainer; var randomSelector = new kawaii.twitter.core.SelectLogic.Randomize.RandomSelector(); int topQueryCount = 10; ISpecialDaySelector specialDaySelector = new SpecialDaySelector(dateSupply, randomSelector); string specialDayName = specialDaySelector.DetectSpecialDayName(); IFolderFromURL folderFromURL = new kawaii.twitter.core.SelectLogic.URL.FolderFromURL(); var formatter = new kawaii.twitter.core.SelectLogic.BlobName.Formatter(); IPageSelector pageSelectorForNewPages = new kawaii.twitter.core.SelectLogic.Page.NotTwittedPages(sitePagesCollection, randomSelector, specialDayName, topQueryCount); IFindAnimatedByPage findNewAnimatedByPage = new kawaii.twitter.core.SelectLogic.Images.Newly.NotTwittedAnimated(imagesCollection, randomSelector, topQueryCount, folderFromURL, formatter); IPageSelector pageSelectorForAnyPages = new kawaii.twitter.core.SelectLogic.Page.PageSelector(sitePagesCollection, randomSelector, specialDayName, topQueryCount); IFindAnimatedByPage findAnimatedByPage = new kawaii.twitter.core.SelectLogic.Images.Find.FindAnimatedByPage(imagesCollection.AsQueryable(), folderFromURL, formatter); IPageOrExternalImageSelector pageOrExternalImageSelector = new kawaii.twitter.core.SelectLogic.PageOrExternalImage.PageOrExternalImageSelector(); IAnimatedSelectorWithExcludeLast animatedSelectorWithExcludeLast = new kawaii.twitter.core.SelectLogic.Images.ExcludeUsed.AnimatedSelectorWithExcludeLast(); IPageForTwittingSelector pageForTwittingSelector = new kawaii.twitter.core.SelectLogic.PageForTwittingSelector(pageSelectorForNewPages, findNewAnimatedByPage, pageSelectorForAnyPages, findAnimatedByPage, pageOrExternalImageSelector, animatedSelectorWithExcludeLast, logger); var tweetCreator = new kawaii.twitter.core.TweetCreator(pageForTwittingSelector, textCreator, twitterImageURL, imageOnWeb, blobDownload, service, lastTweetUpdater, logger); logger.Log($"tweetCreator.Execute: {DateTime.Now}"); //выполнить твит заданной страницы и изображения await tweetCreator.Execute(); }