Buenas practicas para desarrollar en SSIS: Recomendaciones para desarrollar en SSIS
Buenas prácticas al desarrollar en SSIS
En mi experiencia como consultor externo, he visto muchos desarrollos de SSIS en diferentes empresas, en cada de uno de ellas múltiples paquetes SSIS, todos desarrollados por varias personas sin seguir lineamientos ni estándar alguno, esto a largo plazo es perdida de dinero para las empresas, ya que tienden a pagar nuevamente a personas que entiendan dichas ETLs, para solventar esto les recomiendo una serie de pasos a seguir cuando creamos ETLs
Paso 1: Siempre colocar nombre a cada componente que creamos en nuestras ETLs , en la siguiente imagen pueden observar que si no colocamos descripciones los componentes pueden ser confusos, y dificultar la lectura para otros desarrolladores mas adelante ocasionando perdida de tiempo y dinero a las empresas, por lo cual debemos velar porque cada componente cuente con un detalle de su utilidad en el proceso
Paso 2: No dejar componentes inactivos en paquetes ETLs, que serán desplegados en producción, tienden a confundir a personas que no desarrollaron el proceso, para lo cual debemos eliminarlos y por ningún motivo dejarlos
Paso 3: Los flujos desarrollados en SQL Server Integration Services, deben ser desarrollados en de arriba hacia abajo o de izquierda a derecha por nomenclaturas para garantizar su correcta lectura
Incorrecto
Correcto
Paso 4: Los nombres de los paquetes tienen como limite para sus nombres un máximo de 100 caracteres, entonces debemos tener cuidado de que nuestros paquetes falles por colocar una descripción mayor
Paso 5: Configurar correctamente las propiedades de nuestros data flow es muy importante en ella podemos configurar la cantidad de hilos que podemos procesar, en nuestras ETLs y los mismo dependerán de la cantidad de procesadores que tenga nuestro servidor, al igual que el buffer el cual indicara la cantidad de registro que procesara en cada bach
Paso 6: La Reutilización Es una de las capacidades más aprovechadas Dentro de SSIS. En otras palabras, podemos hablar de paquetes de normas que Pueden ser reutilizados en diferentes entornos de desarrollos ETL. Dentro de SSIS, esto Puede lograrse Utilizando plantillas. De Los paquetes de plantillas de SSIS, paquetes hijo reutiilzables que Pueden ser Utilizados En cualquier proyecto una Cantidad ilimitada de veces. Para más información consultar http://support.microsoft.com/kb/908018
Paso 7: Cuando estamos en modo de desarrollo o configuración Cualquier conexión a una OLEDB como fuente, se Debe Evitar usar “la tabla o vista” Como el modo de acceso de los datos, este es similar al “SELECT * FROM, y como alcalde de la parte de nosotros sabe,” SELECT * “es nuestro enemigo, esta sentencia toma en cuenta todas las columnas Incluyendo las que no se INCLUSO requieren. Intentar siempre Utilizar el modo “SQL Command” como modo de acceso de los datos e incluir solamente los nombres de las columnas Requeridas en la declaración “SELECT”. De esta Manera se evita pasar columnas innecesarias en flujo de dato
Paso 8: En los datos de flujo de tareas, Utilizar muy cuidadosamente el plano de conexión Administrador de archivos, Crear un Flat File Connection Manager con la configuración por defecto utilizará el tipo de datos [DT_STR] por defecto para todos los valores de la columna. Ésta no es siempre la opción correcta porque Puede existir algun tipo de dato numérico, número entero o columnas boleanas en la fuente, pasándolo como string en el flujo hacia abajo se utilizaría memoria innecesaria Puede Causar y cierto errores en las fases posteriores de la ejecución del paquete.
Paso 9: Durante el desarrollo de los paquetes de SSIS, parte del tiempo uno tiene que compartir su paquete con otros miembros del equipo o uno tiene que desplegar el mismo paquete entorno de producción. Una cosa que un desarrollador tiene que cerciorarse es Utilizar el nivel correcto de la Protección del paquete. por defecto es “EncryptSenstiveWithUserKey” El mismo paquete No pudo ejecutarse según lo esperado en otros ambientes Porque El paquete Fue cifrado con la llave personal del usuario. Para hacer la ejecución del paquete común, en de diferentes entornos, uno tiene que primero entender el comportamiento de la Característica del nivel de la Protección del paquete, puede leer mas de esta características en la pagina oficial en el link http://msdn2.microsoft.com/en-us/library/microsoft.sqlserver.dts.runtime.dtsprotectionlevel.aspx. Generalmente, para Evitar los errores mas comunes Durante el Despliegue de paquetes a partir de un sistema un otro sistema, Fijar La protección del paquete un ‘DontSaveSenstive.
Paso 10: En tiempo de ejecución, los contenedores y tareas producen eventos. Puede crear controladores de eventos personalizados que respondan a estos eventos ejecutando un flujo de trabajo cuando se produce el evento. Por ejemplo, puede crear un controlador de eventos que envíe un mensaje de correo electrónico cuando una tarea genera un error.
Un controlador de eventos es similar a un paquete. Al igual que un paquete, un controlador de eventos puede proporcionar un ámbito para variables, e incluye un flujo de control y flujos de datos opcionales. Puede generar controladores de eventos para paquetes, el contenedor de bucles Foreach, el contenedor de bucles For, el contenedor de secuencias y todas las tareas.
Great Post. SSIS is a well-defined ETL platform to load the raw data from the various OLTP or OLAP sources into an established destination. SSIS provides pretty much all the tools that system need to get the job done but sometimes it’s not always easy to know what tools to use and how to use them. To avoid the different approaches, Standard Reusable Templates are the best way to follow the same standard to accomplish the development jobs.
SSIS- Standard Reusable Templates
Tks, for your comments
Excelente post Juan, a mis fav!
Saludos
Muchas gracias por el apoyo