Download Data Warehouse

“Diseño de un Data Mart para
la Unidad de Programación y
Abastecimiento de
Hidrocarburos de
Petrocomercial, Filial de
Petroecuador”.
Por qué Data Warehouse ?
Datos
Datos
Datos
Datos
Datos
Datos
Datos
Datos
?
Datos
Datos
Islas de Información
Información para la toma
de decisiones
Qué es un Data Warehouse?
“Data Warehouse nos permite la
integración de datos corporativos
en un único depósito donde los
usuarios puedan consultar o
analizar los datos para la toma de
decisiones”.
Data Warehouse
DATOS OPERACIONALES BATCH
DATOS OPERACIONALES
METADATOS
TRANSACCIONALES
Transfor_
mación
DATOS EXTERNOS
DATA
WAREHOUSE
SOPORTE
DE
DECISIÓN
Características

Tema Orientado

Integrado

Variante en el tiempo

No Volátil
Arquitectura
20
10
Serie1
Serie2
0
1
DATOS
OPERACIONALES
DATOS
EXTERNOS
CONSULTAS Y REPORTES
INTERACTIVOS
S1
2
3
MINERIA DE DATOS
SEGMENTACION
PREDICCION
Extracción ,limpieza
transformación y
carga
Metadatos
DATA WAREHOUSE
PROCESOS Y FUNCIONES
ANALISIS
MULTIDIMENSIONAL
O ANALISIS OLAP
Metadatos

Datos acerca de los datos.

Herramienta que almacena
datos u otro punto de apoyo
para los sistemas de
información, guardando la
pista de las relaciones entre el
Data Warehouse y las Bases de
Datos Operacionales,
incluyendo además los pasos
requeridos para el
almacenamiento de los datos.

Se clasifican en:
Metadatos de
Transformación, y Metadatos
de Aplicación.
Metadatos
DATA
WAREHOUSE
Contenido de los
Metadatos








Tablas de Estructura del Data Warehouse
Tabla de Atributos del Data Warehouse
Datos de origen del Data Warehouse (El sistema de
registros)
El mapeo desde los sistemas de registros hasta el Data
Warehouse.
La especificación de los Modelos de Datos.
La extracción y el registro
Las rutinas de acceso a los datos
Las equivalencias de tipos de datos entre Base de Datos
Fuente y Destino.
Análisis Multidimensional
Cliente
Tiempo
Geografía
Cliente
Geografía
Producto
Producto
DIMENSIONES
Mes
INTERRELACIONES
Rebanar/Picar
Trim
Día
Navegación
Año
Fiscal
Pivote
Año
Tiempo
Profundización y
resumen
Cálculos
Resúmenes y adiciones
JERARQUIAS
SERVICIOS
Análisis Multidimensional OLAP
“OLAP es una tecnología de procesamiento
analítica que crea nueva información
empresarial a partir de los datos existentes,
por medio de un rico conjunto de
transformaciones empresariales y cálculos
numéricos”.
Tipos y Modelos de OLAP

Tipos




OLAP Relacional (ROLAP)
OLAP Multidimensional (MOLAP)
OLAP Híbrida (HOLAP)
Modelos




Modelo Cubo
Esquema Estrella
Esquema Copo de Nieve
Esquema Mixto
Tipos y Modelos de OLAP
Esquema Estrella
Tabla de Volúmenes
Clave: Producto
Atributos de Tiempo
Clave: Tiempo
Clave: Región
Atributos de Terminal
Atributos de Producto
Clave: Terminal
Volumen Final
Volumen Despachado
Atributos de Región
Minería de Datos
(Data Mining)


Esta técnica consiste en extraer información de
grandes bases de datos en función de estos
mismos. Se trata de un proceso automatizado de
presentación de patrones, normas o funciones a
un usuario informado para su revisión y estudio.
Procesos de Minería de Datos




Selección de Datos
Transformación de Datos
“Data Mining”
Interpretación de resultados
Esquema Data Warehousing
Minería de
Datos
Procesamiento
Analítico en Línea
OLAP
Consultas y
Reportes
Acceso WEB
Necesidades
del Negocio
Data Warehouse
(Data Mart)
Acceso
Almacenar
Transformar
Definir
DB2
ORACLE
INFORMIX
SQL
Server
Distribuir
SYBASE
Necesidades
de Desarrollo
Manejar
Automatizar
VSAM
IMS
Datos Fuentes externos y operacionales
Files
Herramientas




Herramientas de Modelamiento de datos
Herramientas de Construcción de un Data
Warehouse
Herramientas de análisis multidimensional
u OLAP, Consultas y reportes
Minería de Datos
Sistemas Operacionales
de Petrocomercial

IBM S/390

Base de datos DB2


Archivos VSAM


Sistema de Movimiento de Productos (MOPRO)
Sistema de Comercialización (Ventas)
IBM AS/400

Base de Datos DB2/400





Sistemas Financieros
Sistemas Administrativos
Sistema de Inventarios y Compras
Sistema de Mantenimiento
Sistema de Contratos
Selección de Herramientas

Construcción de Data
Warehouse



Visual Warehouse (IBM)
Oracle Express (Oracle
Corporation)



DB2 OLAP Server (IBM)
Oracle Express (Oracle
Corporation)
Power Play (Cognos)
Business Objects (BO)
Base de Datos


DB2 UDB (IBM)
Oracle 8
Consultas y Reportes



Herramientas OLAP





Lotus Approach (IBM)
Discoverer (Oracle
Corporation)
Impromptu (Cognos)
Business Query (Business
Objects)
Minería de Datos



Intelligent Miner (IBM)
4 thought (Cognos)
Business Miner (Business
Objects)
Esquema propuesto para
Petrocomercial
Procesamiento Analítico
en Línea OLAP
y acceso a Web
Consultas y
Reportes
Impromptu
Power Play
Data Warehouse
(Data Mart)
Acceso
Transformar
Distribuir Almacenar
Manejar
Automatizar
VISUAL WAREHOUSE
DB2
DB2
VSAM
Archivos
Planos
Datos Fuentes externos y operacionales
Ambiente de Data
Warehouse
IBM
AS/400
PCO1
Comunicación APPC

Token Ring
IBM S/390
PCORED3
Software para crear y manejar Data Warehouse
Visual
Warehouse
Power
Play
Impromptu
Software para comunicaciones
Communications
Base de Datos
DB2
UDB
Server
Comunicación APPC
IBM
AS/400
PCO2
Ambiente de Data
Warehouse




Ambiente de Comunicaciones
Ambiente de Base de Datos
Creación de Data Warehouse
Análisis OLAP y Consultas y Reportes
Ambiente de
Comunicaciones




Configuración de un
nodo de red.
Configuración de
dispositivos.
Configuración de una
conexión.
Configuración de
Unidades Lógicas
Locales (Local LU
6.2).



Configuración de
modos.
Configuración de
Unidades Lógicas
Asociadas (Partner LU
6.2).
Configuración de
interface común de
programación (CPIC).
Ambiente de Base de Datos

Configuración de Base de Datos (Base de
Datos fuentes, de control y de Data
Warehouse)






Protocolo de comunicaciones(APPC)
Sistema Operativo(MVS/ESA, OS/400)
Parámetros de comunicación APPC (CPI-C)
Base de Datos destino
Pruebas de Conexión a Base de Datos (Test)
Ejecución de aplicación (Bind)
Desarrollo de Aplicación
Metodología






Planeación
Requerimientos
Análisis
Diseño
Construcción
Puesta en Marcha (Pruebas,
Implementación)
Planteamiento del Problema

El proyecto piloto en Petrocomercial inicia con
la construcción de un Data Warehouse para la
Unidad de Programación y Abastecimiento de
Hidrocarburos, el cual deberá satisfacer
consultas periódicas concernientes a
volúmenes finales (existencias), volúmenes
despachados (demanda) y días de stock de
productos derivados del Petróleo, distribuidos
por terminal de despacho y región.
Esquema Estrella de
Aplicación
Tablas de Hechos de Volúmenes
Tabla de Dimensión Tiempo
Tabla de Dimensión Terminal
Clave: Producto
Atributos de tiempo
Clave: Tiempo
Tabla de Dimensión Producto
Atributos de Producto
Clave: Región
Clave: Terminal
Volumen Final
Volumen Despachado
Hechos
Atributos de Terminal
Tabla de Dimensión Región
Atributos de Región
Procesos de Aplicación
Despachos a empresas
eléctricas.
Existencia y
demanda de
productos.
Sistema
de MOPRO
Unidad de
Programación y
Abastecimiento
Existencia,
Data
demanda diaria, Subgerencia
Warehouse y días de stock de Transporte y
de productos.
MOPRO
Almacenamiento
Gerencia
Stock de Refinerías
Petroindustrial
General
Construcción del Data
Warehouse (Visual Warehouse)






Acceso a datos de ambientes operacionales, y de fuentes
externas.
Transformación, Integración y Distribución de datos, que
permiten convertirlos en datos útiles para el negocio.
Filtrado de datos usando sentencias SQL estándares.
Almacenar datos.
Encontrar y Comprender, a través de un catálogo de
información.
Mostrar, Analizar y Descubrir usando una herramienta de
soporte a la toma de decisiones.
Automatizar y Administrar del Data Warehouse, para
maximizar la disponibilidad con un mínimo de recursos.
Herramienta OLAP
4to trim.
Este
Oeste
Norte
3er trim.

90
80
70
60
50
40
30
20
10
0
2do trim.

Herramienta para análisis
multidimensional.
Empaqueta datos en
estructuras
multidimensionales
llamadas Power Cubes
Además es una
herramienta OLAP
dinámica sobre el WEB.
1er trim.

Herramienta de Consultas
y Reportes



Respuesta empresarial
para consultas y reportes
además del WEB.
Presenta información de la
forma que administradores
miran su negocio, no la
forma como la base de
datos esta estructurada.
Brinda facilidad y rapidez
a los usuarios para crear
rápida y fácilmente alguna
consulta y reporte
Conclusiones



Las empresas generan y recopilan grandes cantidades de
información, el desafío consiste en aprovechar el valor de
dicha información y usar los patrones y las tendencias en
su uso, para obtener nuevos conocimientos.
Actualmente organizaciones de distintos tamaños y
diversos sectores están descubriendo que pueden obtener
ventajas para sus empresas utilizando un Data Warehouse.
Un Data Warehouse ofrece la base para técnicas eficaces
de análisis y toma de decisiones, tan importantes en el
entorno competitivo de nuestra época.
Conclusiones


La información en un sistema operacional se
encuentra detallada registro por registro, mientras
que la información en un Data Warehouse esta
resumida, transformada, depurada y lista para la
toma de decisiones.
Con la construcción de un Data Warehouse los
ejecutivos descubren que requieren información
más precisa y rápida que antes.
Recomendaciones




Petrocomercial debe continuar con el
Proyecto de Data Warehouse.
Renovación de la infraestructura de
hardware.
Proyecto de Minería de Datos.
Difusión del Proyecto de Data Warehouse al
resto de Filiales y a Petroecuador.
Muchas
Gracias
por su
Atención