Download Integración de datos en Tiempo Real – Oracle Golden Gate

<Insert Picture Here>
Integración de datos en Tiempo Real – Oracle
Golden Gate
Mauricio Gumiel Muñoz
Sales Executive
La necesidad de tomar decisiones en Tiempo real
Más datos que tratar y menor tiempo de respuesta
El crecimiento exponencial
de los datos
Información
actualizada
Situación actual del mercado
•Población
•Usuarios de IT e internet
•Sistemas de información
•Websites
•Dispositivos IT
•Repositorios de información
•Comportamiento y
preferencias de
usuario
•Compras
producidas – stock,
pedidos, etc.
•Ofertas
complementarias
• Muy difícil crecer vía
reducción de costes
• Potenciar la Generación y
Captación de Ingresos
•Datos almacenados
Evolución de los procesos de negocio:
Adaptación dinámica – Toma de decisiones en Tiempo Real
2
Toma de decisiones con Información en Tiempo Real
Incrementando el Valor de la información
• La Información en Tiempo Real representa disponer de:
–
–
–
–
Un nuevo factor diferenciador para competir
Datos actualizados para analizar las situación y tendencias
Información sobre las preferencias y peticiones de clientes y partners
La posibilidad de operar en entornos 24x7
Business event
Business Value
Data
latency
Para reducir los
tiempos de latencia y
generar valor, los datos
deben adquirirse en
Tiempo Real.
Data captured
Analysis
latency
Information delivered
Decision
latency
Action taken
Action Time
3
Los clientes solicitan Datos en Tiempo Real de forma
continuada a la vez que reducción de costes en IT y mejora en la
eficiencia operacional
Operaciones
en
Tiempo Real
Información en Tiempo Real Soporte a
Business Intelligence y Toma de Decisiones
Disponibilidad Contínua de
Aplicaciones y Datos críticos
• Disponibilidad contínua en caso de desastre
• Sin interrupciones en paradas planificadas
• Load balancing & Data distribution
• Disponibilidad instatánea de Datos para Reporting
• Acceso a información clave para su análisis
• Acceso a sistemas heterogéneos
Inversión reducida & Mejora operacional
• Selección del mejor sistema disponible
• Modernización de los sistemas Legacy
• Offload para reporting
• La
•
•
•
información en Tiempo Real supone disponer de sistemas que
Puedan Integrarse y Sincronizarse sin importar su dispersión, ubicación o tecnología
Faciliten información en tiempo real
No impacten en el rendimiento de los Sistemas de Producción
4
Oracle GoldenGate
La solución empresarial para las necesidades de Tiempo Real
Bases de datos y
aplicaciones, fuentes
heterogéneas,
combinadas,
sistemas distribuidos,
legacy,
OLTP,
OLAP
Información
en Tiempo Real
Datos y aplicaciones
Críticos,
Business Intelligence,
Reporting para
Clientes, Partners &
Empleados
Acceso en Tiempo Real
Oracle GoldenGate facilita el acceso en tiempo real a información en tiempo real,
permitiendo a las empresas mejorar dramáticamente la disponibilidad, fiabilidad,
y rendimiento de datos críticos distribuidos en sistemas heterogéneos.
5
¿Qué es Oracle GoldenGate?
Oracle GoldenGate permite captura con impacto muy bajo, enrutado,
transformación, y envío de datos transaccionales entre entornos heterogeneos
en tiempo real.
Aspectos diferenciadores:
Rendimiento
No intrusivo, bajo impacto, latencia <1 segundo
Flexible y Extensible
Abierto, arquitectura modular – Soporta orígenes
y destinos con tecnología heterogénea
Fiable
Mantiene la integridad transaccional – Fiable
contra interrupciones y caídas de servicio
6
GoldenGate es Estratégico para Oracle
• Lider en soluciones de integración de datos en Tiempo
Real
• Complementa la oferta existente de productos Oracle
• Disponibilidad Contínua para sistemas
heterogéneos
• Acceso a datos en tiempo real para Reporting &
BI/EPM
• Migraciones y actualizaciones de bases de datos y
aplicaciones con “Zero-downtime”.
• 500+ clientes
• 35+ países
• 4,000+ implantaciones en los sectores Financieros,
Comunicaciones, Sanitario, Público, Distribucion e
Industria:
• Top 4 de 5 de los mayores bancos comerciales
• Top 3 de 3 de las redes ATM más utilizadas
• Top 8 de 10 de compañías de información financiera
• Top 4 de 5 proveedores de telecomunicaciones
• Top 3 de 5 de las mayores compañías de
distribución
7
Oracle GoldenGate – Casos de Uso
La Integración en Tiempo Real – aplicaciones para la empresa
Disaster Recovery,
Data Protection
Standby
(Open & Active)
Captura de datos
modificados, en
Tiempo Real,
de los logs
Zero Downtime
Migration and
Upgrades
Operational
Reporting
Reporting
Database
OGG
• Estandarización de una Unica
Tecnología para Múltiples
necesidades
• Permite la Disponibilidad
Continua y el acceso a datos en
Tiempo Real para Reporting / BI
ETL
ODS
ETL
Sistemas Origen
Heterogéneos
Real-time BI
Query Offloading
EDW
EDW
• Arquitectura muy flexible
• Implantaciones muy rápidas
• Bajo TCO & ROI muy rápido
Data Distribution
8
Oracle GoldenGate – factores diferenciales
Oracle GoldenGate…
Permite realizar operaciones de forma continuada para aplicaciones
críticas, eliminando paradas no planificadas y también reduciendo el
coste de paradas planificadas.
Disminuye los costes de IT gracias al soporte heterogéneo para
múltiples plataformas, permitiendo reducir el coste en infraestructuras
mediante query offloading.
Mejora la eficiencia operacional mediante el rendimiento, la
escalabilidad de las distintas fuentes de datos en tiempo real, y la
distribución de datos.
Reduce el riesgo asegurando la integridad de los datos y la
fiabilidad entre los sistemas Origen y Destino. Permite encriptar y
comprimir los datos cuando es necesario.
Mejora el análisis del negocio mediante Business Intelliigence, Data
Warehousing y report offloading en tiempo real.
Reduce las barreras para compartir datos debido al nulo impacto en
las aplicaciones o bases de datos en la adquisición y transmisión de
datos en tiempo real.
9
Oracle GoldenGate
Escenarios de aplicación de OGG
Escenarios en
Entornos Tecnológicos
10
Query Offloading – Reducción de costes
Creación de un nuevo entorno para consultas
Query
Offloading
Solución:
Reducción de costes
OLTP
Transactions
Read Only
Users
Beneficios:
OGG
Non-Oracle or
Legacy Platform
• Crear una réplica en tiempo real del entorno
operacional (legacy o mainframe) muy costoso
sobre Oracle con RAC o Linux.
• Sincronización de la réplica en tiempo y real y
envío de datos read-only
Oracle Platform
• Reduce/elimina las operaciones SQL en sistemas
transaccionales
• Directamente reduce el coste de sistemas legacy,
mainframe, non-oracle
¿Qué productos posicionar?
• Oracle GoldenGate soporte bases de datos,
hardware y plataformas heterogéneas
Necesidad:
“¿Es necesario trasladar las capacidades de procesamiento de opraciones
SQL a BBDD estandar con menor coste en SW y HW, sin interrupción en
transacciones o procesos críticos y a la vez soportar el crecimiento de datos
generado por el incremento en el número de usuarios?”
11
Continuous
Disponibilidad Contínua
Availability
Migraciones y actualizaciones de bases de datos y
aplicaciones con “Zero-downtime”
Solución :
Previous Version
New Version
OGG
Previous DB Version
• Migrar desde bases de datos, hardware o
plataformas heterogéneas a plataforma
estandarizada Oracle11g con mínima disrupción
operativa
• Actualización de aplicaciones certificadas Oracle a
nuevas versiones (Siebel) sin downtime
Beneficios :
New DB Version
• Estandarización del centro de datos y
modernización de las plataformas
• Zero down-time para aplicaciones críticas
• Migración segura de usuarios de un sistema a
otro, manteniendo ambos operativos.
¿Qué productos posicionar?
• Oracle GoldenGate
Necesidad:
“¿Hay que realizar una migración de base de datos o una actualización de
una aplicación critica pero no es posible realizar ninguna parada por su
impacto en los procesos de negocio?
12
Disponibilidad Contínua
Continuous
Availability
Distribución de datos / Sincronización
Solución :
Oracle 9i
Oracle 11g
OGG
• Replicar datos entre aplicaciones distribuidas permitiendo
realizar operaciones globales y mejorando la eficiencia
operacional.
• Distribuir datos en tiempo real entre entornos Oracle y no
Oracle.
• Crear configuraciones Activo-Activo, permitiendo disponer
de datos sincronizados entre Centros de datos.
Beneficios :
Oracle 10g
SQL Server
• Alta disponibilidad en datos críticos
• Posibilidad de escalado y de manejo de grandes
volúmenes de datos
• Acceso a datos consistentes entre centros de datos,
geográficamente dispersos
¿Qué productos posicionar?
• Oracle GoldenGate
Necesidad:
“¿Cómo responden tus datos ante peticiones realizadas 24x7? ¿Pueden todas
tus unidades de negocio acceder al mismo tiempo a la información más
actualizada contínuamente?”
13
Integración de datos en Tiempo Real
Real Time Data
Integration
Reporting en entornos operacionales
Solución :
• Informes sobre datos reales, inmediatos (live
data), en sistemas transaccionales
• Sin necesidad de realizar una carga adicional
en el sistema origen – informes en una nueva
instancia de la base de datos sincronizados en
tiempo real.
OGG
Transactional
Applications
Beneficios :
Operational
Data Store
• Permite disponer de informes tácticos para la
rápida toma de decisiones el seguimiento del
estado de negocio.
• Elimina el impacto en los sistemas origen.
• Resuelve los retos de ejecutar informes en
sistemas transaccionales (MIPs para ejecutar
transacciones en vez de generar informes)
¿Qué productos posicionar?
• Oracle GoldenGate para crear una replica
operacial.
• BI Publisher para Reporting operational.
Necesidad:
“¿Dispone de la transparencia adecuada sobre los datos en los sistemas
transaccionales más sensitivos?”
14
Integración de datos en Tiempo Real
Real Time Data
Integration
Business Intelligence en Tiempo Real
Solución :
Real-time Integration + Bulk
Data Transformation
ODI
Production
OGG
Beneficios :
Enterprise Data Warehouse
Oracle Database,
Oracle Exadata
Heterogeneous
Sources
• Poblar un almacén de datos operacional
destinado a un BI operacional con datos en
tiempo real.
• Ejecutar ELT desde ODS para cargar datos al
warehouse con datos transformados
• Mejora la capacidad de análisis sobre el
negocio
• Combina la capacidad de inteligencia de
negocio sobre datos actuales e históricos
• Elimina la carga en los sistemas fuente
• Reduce los tiempos de latencia y las ventanas
de tiempo por procesamiento batch
¿Qué productos posicionar?
• Oracle GoldenGate y Data Integrator
Necesidad:
“¿Necesita analizar la situación y estado de su negocio con los datos más
actuales, sin necesidad de impactar en sus sistemas más críticos?
15
Oracle GoldenGate
Escenarios de aplicación de OGG
Escenarios en
Procesos de Negocio
16
Oracle GoldenGate
Procesos de
Negocio
Soporte a los procesos de Negocio - I
Accounting
• Sincronización con datos de facturación, inventario, pedidos, etc.
• Integración con ERPs en tiempo real
• Integración de distintos sistemas de contabilidad
Billing
• Reconciliación de facturas mediante integración de información distribuida
• Facilitar a los clientes y proveedores el estado de sus pedidos, pagos y facturas.
• Establece las bases para la colaboración B2B
Reporting
• Generación de informes recopilados de sistemas heterogéneos
• Información actualizada al disponer de datos recopilados en Tiempo Real
• Creación de métricas para conocer el grado de cumplimiento de Objetivos, SLAs, etc.
Inventory managment
• Actualización de inventarios distribuidos
• Información sobre pedidos a servir
• Información sobre materiales recibidos de sistemas heterogéneos
17
Oracle GoldenGate
Procesos de
Negocio
Soporte a los procesos de Negocio - II
Marketing
• Información sobre el impacto de las campañas promocionales
• Según el perfil del usuario, sus compras realizadas y las campañas existentes,
se ofrecen productos complementarios o nuevas versiones (Cross selling).
Pricing
• Actualización de precios de acuerdo a los resultados de promociones, stocks, etc.
• Actualización y propagación de tipos de interés, tipos de cambio, etc.
Cumplimiento Normativas
• Soporte a la Auditoría: seguimiento en el cambio de los datos en vez más que
los datos cambiados
• Backup de datos transaccionales en tiempo real
Purchasing forecast
• Compras históricas
• Compras recientes o últimas compras
• Soporte al análisis estadísticos o de tendencias para establecer previsiones de
compra
18
Oracle GoldenGate
Apéndice - Arquitectura detallada
Tecnología
19
GoldenGate - Arquitectura
Capture: Los cambios committed son capturados ( pueden
ser filtrados) según se producen, leyendo el log de
transacciones.
Trail files: Almacena y encola los datos para su envío
Pump: Distribuye los datos para su enrutado a multiples destinos.
Route: Datos comprimidos, encriptados para múltiples destinos.
Delivery: Escribe los datos con integridad
transaccional, transformando los datos
según sea necesario.
Pump
Capture
LAN / WAN /
Internet
Source Trail
Pump
Database(s)
Origen
Target Trail
Delivery
(TCP/IP)
Target Trail
Source Trail
Delivery
Capture
Bi-direccional
Database(s)
Destino
20
GoldenGate – Plataformas heterogéneas
Bases de datos
O/S y Plataformas
Capture:
• Oracle
•Windows
DB2
• Microsoft SQL Server
• Sybase ASE
• Teradata
• Enscribe
• SQL/MP
• SQL/MX
• JMS message queues
• MySQL
•TimesTen
•Linux
•
2000, 2003, XP
•Sun
Solaris
•HP NonStop
•HP-UX
•HP TRU64
•HP OpenVMS
•IBM AIX
•IBM z/OS
Delivery:
All listed above, plus:
• HP Neoview, Netezza, Greenplum, and any
ODBC compatible databases
• ETL products
• JMS message queues
• MySQL
•TimesTen
•
21
Componentes (Procesos)
CAPTURE
•
•
•
•
•
•
DELIVERY
Log based
VAM based
Local/Remote Queuing
Filtering
Parallel Coordination
Local/Remote*
•
•
•
•
•
•
•
PUMP
•
•
•
•
•
Native database API
ODBC
Batched Operations
Filtering
Transaction/Operations Grouping
Parallel Coordination
Local/Remote*
MANAGER
Local/Remote
Filtering
TCP/IP
Compression
Encryption
•
•
•
•
•
Queue (Trail) Management
Process Management (Dynamic)
Monitoring and Administration (Lag reports)
Reporting (Events, Errors, Thresholds)
Receive/Route requests from UI
On-disk Components
•
•
•
Trail Files
Checkpoint Files
•
Capture, Pump, Delivery
Data Definition Files
(SOURCEDEFS)
•
Utility to generate definitions
•
•
•
•
Configuration Files
Output Files
Report/Log Files
Binaries
22
Oracle GoldenGate - Topologías
Unidireccional
Query Offloading
Broadcast
Data Distribution
Bi-Direccional
Live Standby or
Active-Active for HA
Integración/Consolidación
Data Warehouse
Peer-to-Peer
Load Balancing,
Multi-Master
En Cascada
Data Marts
23
Oracle GoldenGate
Apéndice – Capacidades extendidas
Golden Gate
Capacidades extendidas
24
GoldenGate Instantiation
• Start change data capture on Source Database
• Current source Commit Sequence Number (CSN) is 222
Current CSN is
222
Source
Database
CSNs 222
through …
Capture
Commit Ordered
Source Trail
Pump
Commit Ordered
Target Trail
Target
Database
25
GoldenGate Instantiation
• Wait for any open transactions to close
• Use a backup (or export/import) to copy source to target as of a
consistency point
• Current source Commit Sequence Number (CSN) is 245
Consistent as
of CSN 245
Current CSN is
245
Source
Database
CSNs 222
through …
Capture
Take Backup
as of CSN
245
Commit Ordered
Source Trail
Pump
Commit Ordered
Target Trail
Target
Database
Apply Backup
as of CSN
245
26
GoldenGate Instantiation
• Start delivery at or after given backup CSN (245 in this case)
• Current source Commit Sequence Number (CSN) is 356
• Once Delivery is current the source and target are in sync
Current CSN is
356
Source
Database
CSNs 222
through 356
Capture
Take Backup
as of CSN
245
Commit Ordered
Source Trail
Pump
Commit Ordered
Target Trail
Consistent as
Deliver
of CSN 356
transactions
In Sync!
after CSN 245
Delivery
Target
Database
Apply Backup
as of CSN
245
27
GoldenGate Checkpointing
• Capture, Pump, and Delivery save positions to a checkpoint file so
they can recover in case of failure
Begin, TX 1
Start of Oldest Open (Uncommitted)
Transaction
Insert, TX 1
Begin, TX 2
Begin, TX 2
Update, TX 1
Insert, TX 2
Insert, TX 2
Commit, TX 2
Commit, TX 2
Capture
Checkpoint
Begin, TX 3
Insert, TX 3
Insert, TX 3
Begin, TX 4
Commit, TX 3
Begin, TX 3
Current
Write
Position
Commit, TX 3
Delete, TX 4
Current Read
Position
Source
Database
Capture
Commit Ordered
Source Trail
28
GoldenGate Checkpointing
• Capture, Pump, and Delivery save positions to a checkpoint file so
they can recover in case of failure
Begin, TX 1
Start of Oldest Open (Uncommitted)
Transaction
Insert, TX 1
Begin, TX 2
Begin, TX 2
Update, TX 1
Insert, TX 2
Insert, TX 2
Commit, TX 2
Commit, TX 2
Capture
Checkpoint
Begin, TX 3
Insert, TX 3
Insert, TX 3
Begin, TX 4
Commit, TX 3
Begin, TX 3
Current
Write
Position
Pump
Checkpoint
Begin, TX 2
Insert, TX 2
Commit, TX 2
Current
Write
Position
Current
Read
Position
Commit, TX 3
Delete, TX 4
Current Read
Position
Source
Database
Capture
Commit Ordered
Source Trail
Pump
Commit Ordered
Target Trail
29
GoldenGate Checkpointing
• Capture, Pump, and Delivery save positions to a checkpoint file so
they can recover in case of failure
Begin, TX 1
Start of Oldest Open (Uncommitted)
Transaction
Insert, TX 1
Begin, TX 2
Begin, TX 2
Update, TX 1
Insert, TX 2
Insert, TX 2
Commit, TX 2
Commit, TX 2
Capture
Checkpoint
Begin, TX 3
Insert, TX 3
Insert, TX 3
Begin, TX 4
Commit, TX 3
Begin, TX 3
Current
Write
Position
Pump
Checkpoint
Delivery
Checkpoint
Begin, TX 2
Insert, TX 2
Commit, TX 2
Current
Write
Position
Current
Read
Position
Current
Read
Position
Commit, TX 3
Delete, TX 4
Current Read
Position
Source
Database
Capture
Commit Ordered
Source Trail
Pump
Commit Ordered
Target Trail
Delivery
Target
Database
30
Oracle GoldenGate
Apéndice – Otros Productos
Otros productos de
la familia Golden Gate
31
Oracle GoldenGate Veridata
Data Comparison without Downtime
• A high-speed, low impact data
comparison solution
• identifies and reports data discrepancies
between heterogeneous databases
• without interrupting their availability
• Benefits:
• Reduce financial/legal risk exposure
• Speed and simplify IT work in comparing
data sources
• No disruption to business systems
• Improved failover to backup systems
• Confident decision-making and reporting
32
Veridata 3.0 Component Overview
•
•
•
Existing product – Homogeneous Version (Oracle/Tandem)
Java agent is one executable for all supported databases. Supports
heterogeneous cross database comparisons. (Beta)
C agent is required for NSK and can be used for Oracle like-to-like
comparisons.
33
Oracle Management Pack for Oracle GoldenGate
Easy Management of Oracle GoldenGate Solutions
• Manages, defines, configures,
and reports on Oracle
GoldenGate components
• Key features:
• Centralized management of
GoldenGate modules
• Rich-client and Web-based
interfaces
• Alert notifications and integration
with 3rd-party monitoring products
• Real-time feedback
• Zero-impact implementation
34
GoldenGate Director: Architecture Components
Director Server
• Live connections to each
GoldenGate instance
• Database central repository
for user and GoldenGate
information
Director Client
• GUI for creating custom
network views and accessing
the services provided by the
Director Server
Director Web
• Browser-based UI that enables
remote monitoring and control
of GoldenGate
Director Administrator
• For configuring the Director
Server
35
Oracle GoldenGate
Resumen de Golden Gate – Beneficios y Casos de uso
Resumen
36
GoldenGate – Principales beneficios aportados
No hay pérdida de datos
Integridad transaccional
Mínima parada / Rendimiento
99.99% Uptime
No Intrusivo
Muy bajo impacto
Soporte heterogéneo
Database, Hardware, OS
Muy baja latencia / Tiempo Real
Segundos, no batch
Alto Rendimiento / Altos volumenes Grandes volúmenes de datos
Flexibilidad
Varias topologías
Decrecimiento del TCO
Query offloading
Operación Contínua
Continuidad de Negocio
37
Oracle GoldenGate – Casos de uso
Mainframes, Production
environments
Batch procesing
Query processing
Query Offloading , Reduce
MIP consumption
Query offloading
Siebel
ERPs
ITIL processes
Application
Migration/Upgrade
Share infrastructure
resources
Accounting
Reporting
Marketing
Pricing
Billing
Business Intelligence
Datawarehouse
Dashboards
Reporting
Monitoring
Disaster Recovery, High
Availability
Real-time BI, Operational
Reporting
Zero Downtime Upgrade &
Migration, Data Distribution
Data Synchronization, Data
Replication
Continuous availability
Real Time Integration
38
Contact local Sales Executive for Oracle Golden Gate
Iberia Sales Executive - Mauricio L. Gumiel Muñoz
Mobile: +34 618 383 474
Work phone: +34 916 312 641
email: mauricio.gumiel@oracle.com
Address: C/Jose de Echegaray, 6 - 28230 Las
Rozas, Madrid
39
40