Exemple #1
0
        private static void crearPipesSubidaNormal(DataFactoryManagementClient client)
        {
            var nombreTablas    = DatosGrales.traerTablas(true);
            var nombreSinSchema = DatosGrales.traerTablas(false);

            List <Activity>         la;
            CopyActivity            ca;
            List <DatasetReference> inp;
            DatasetReference        dr;
            List <DatasetReference> outp;
            DatasetReference        drO;
            PipelineResource        pipe;
            string nombreTablaParaConsulta;
            string consulta;
            string nombreBD = DatosGrales.nombreBD;

            for (int i = 0; i < nombreTablas.Length; i++)
            {
                if (esTablaEspecial(nombreTablas[i]))
                {
                    //no creo nada porque es especial
                }
                else
                {
                    nombreTablaParaConsulta = nombreTablas[i].Replace('-', '.');
                    consulta  = DatosGrales.queryMagica(nombreTablaParaConsulta, 10000);
                    la        = new List <Activity>();
                    ca        = new CopyActivity();
                    ca.Name   = "CopyPipeline-Sql-Lake-" + nombreTablas[i];
                    ca.Source = new SqlSource(null, 3, null, consulta);
                    ca.Sink   = new SqlSink();

                    inp = new List <DatasetReference>();
                    dr  = new DatasetReference("Dataset_" + nombreBD + "_" + nombreTablas[i]);

                    inp.Add(dr);
                    ca.Inputs = inp;

                    outp = new List <DatasetReference>();
                    drO  = new DatasetReference("Dataset_" + nombreBD + "_DataLakeStore_" + nombreSinSchema[i]);
                    outp.Add(drO);
                    ca.Outputs = outp;


                    la.Add(ca);


                    pipe            = new PipelineResource();
                    pipe.Activities = la;

                    client.Pipelines.CreateOrUpdate(DatosGrales.resourceGroup, DatosGrales.dataFactoryName, "Pipeline-Copy-" + nombreBD + "-" + nombreTablas[i], pipe);

                    Console.Write((i + 1) + ". Pipeline-Copy-" + nombreBD + "-" + nombreTablas[i] + " creado.\n");
                }
            }
        }
Exemple #2
0
        private static void crearPipesSubidaConCompresion(DataFactoryManagementClient client)
        {
            string nombreBD = DatosGrales.nombreBD;

            string[]                  nombreTablas = DatosGrales.traerTablas(true);
            string[]                  nombreTablasParaCompresion = DatosGrales.traerTablas(false);
            List <Activity>           la;
            CopyActivity              ca;
            List <DatasetReference>   inp;
            DatasetReference          dr;
            List <DatasetReference>   outp;
            DatasetReference          drO;
            CopyActivity              ca2;
            List <ActivityDependency> dep;
            string nombreTablaParaConsulta;
            List <DatasetReference> inp1;
            DatasetReference        dr1;
            List <DatasetReference> outp1;
            DatasetReference        drO1;
            PipelineResource        pipe1;
            string consulta;

            if (nombreBD == "ClaimCenter")
            {
                nombreBD = "Claim";
            }
            for (int i = 790; i < nombreTablas.Length; i++)
            {
                if (esTablaEspecial(nombreTablas[i]))
                {
                    //no creo nada porque tiene un trato especial
                }
                else
                {
                    nombreTablaParaConsulta = nombreTablas[i].Replace('-', '.');
                    consulta  = DatosGrales.queryMagica(nombreTablaParaConsulta, 0);
                    la        = new List <Activity>();
                    ca        = new CopyActivity();
                    ca.Name   = "CA-Compresion-" + nombreTablas[i];
                    ca.Source = new SqlSource(null, 3, null, consulta);
                    ca.Sink   = new AzureDataLakeStoreSink();

                    inp = new List <DatasetReference>();
                    //dr = new DatasetReference("Dataset_" + nombreBD + "_" + nombreTablas[i]);
                    dr = new DatasetReference("Dataset_ClaimCenter_" + nombreTablas[i]);
                    inp.Add(dr);
                    ca.Inputs = inp;

                    outp = new List <DatasetReference>();
                    drO  = new DatasetReference("Dataset_Descompresion_" + nombreBD + "_DataLakeStore_" + nombreTablasParaCompresion[i]);
                    outp.Add(drO);
                    ca.Outputs = outp;

                    la.Add(ca);

                    ca2 = new CopyActivity();

                    ca2.Name   = "CA-Descompresion-" + nombreTablas[i];
                    ca2.Source = new SqlSource();
                    ca2.Sink   = new AzureDataLakeStoreSink();
                    string[] condiciones = { "Succeeded" };
                    dep = new List <ActivityDependency>();
                    dep.Add(new ActivityDependency("CA-Compresion-" + nombreTablas[i], condiciones));
                    ca2.DependsOn = dep;


                    inp1 = new List <DatasetReference>();
                    dr1  = new DatasetReference("Dataset_Descompresion_" + nombreBD + "_DataLakeStore_" + nombreTablasParaCompresion[i]);
                    inp1.Add(dr1);
                    ca2.Inputs = inp1;

                    outp1 = new List <DatasetReference>();
                    drO1  = new DatasetReference("Dataset_" + nombreBD + "_DataLakeStore_" + nombreTablasParaCompresion[i]);
                    outp1.Add(drO1);
                    ca2.Outputs = outp1;

                    la.Add(ca2);

                    pipe1 = new PipelineResource();

                    pipe1.Activities = la;

                    client.Pipelines.CreateOrUpdate(DatosGrales.resourceGroup, DatosGrales.dataFactoryName, "Pipeline-Sql-DataLake-ConCompresion-" + nombreBD + "-" + nombreTablas[i], pipe1);
                    Console.Write((i + 1) + ". Pipeline-Sql-DataLake-ConCompresion-" + nombreBD + "-" + nombreTablas[i] + " creado.\n");
                }
            }
        }