Software Recommendations用户反馈
子公司需在受监管前提下自动同步并整合母公司数据库
一家子公司长期通过 ODBC 从母公司大数据库复制部分表到自建服务器使用;现有 ETL 软件已到生命周期终点且一直不好用,团队在它内外堆了很多 workaround。提问者正寻找能自动复制表、可整合数据、且因监管必须由商业公司提供支持的替代工具,候选 DBeaver 仍有疑虑,问题尚无回答。
查看原始信号stackexchange:softwarerecs:95538
目标用户
受监管子公司的数据/IT 人员,负责从母公司数据库定期取数到自有环境并做初步整合,选型受合规与供应商支持约束。
潜在需求
一套能自动完成跨数据库表复制并支持数据操纵/整合的 ETL 软件,月度流程无需人工值守;由于监管要求不能使用开源方案,必须是能提供商业支持的公司产品。
发生场景
子公司需要按月度周期通过 ODBC 从母公司的大数据库中复制部分表到自己的服务器上使用;现有 ETL 软件进入生命周期末期,长期不理想且积累了很多 workaround,更换选型成为当务之急;当前流程还依赖人工盯着进度条。
来源证据
一家子公司的数据人员通过 ODBC 从母公司大数据库中复制部分表到自有服务器;旧 ETL 软件已到生命周期终点且一直不理想,团队围绕它积累了很多 workaround,正在寻找替代方案。
I am currently looking for a solution to copy vast amounts of data. A ETL Framework. We are a subsidy and copy via odbc part of a big database from our parent company on our own servers to work with it. The old software we are using is at the end of it's life-cycle. It was never the best piece of software and we built a lot of workarounds within and around it. Now I would like to set us up for the future. I am looking for a piece of software with which I can copy tables from a database into ahttps://softwarerecs.stackexchange.com/questions/95538/etl-software-to-copay-database-and-consolidate-it
来源:Eomer · CC BY-SA 4.0 · 内容已摘录并由模型整理
为什么值得留意
这是受监管企业内部『母公司→子公司』数据复制的具体选型场景:约束同时来自技术(大表、ODBC、月度自动化和整合)与合规(排除开源、要求商业支持),与常见的开发者向 ETL 需求不同;旧工具生命周期结束使替代成为当务之急,而该问题在站内尚无回答。
已有方案
- 旧 ETL 软件(生命周期末期,未具名)
- DBeaver(正在评估,用户不确定)
未满足部分
- 旧工具生命周期结束且一直需要很多 workaround,替代方案尚未确定
- 月度同步目前需要人工盯进度条,自动化程度不足
- 监管限制排除开源,必须商业支持,可选面被压缩
- 对 DBeaver 是否胜任该场景存在疑虑
可能延伸 · 模型推测
- 面向受监管行业(如制药、金融)的子公司-母公司数据库同步托管服务(推测)
- 把旧 ETL 的 workaround 迁移为可视化整合规则的迁移服务(推测)
- 带合规审计与供应商支持的轻量 ODBC 表复制方案(推测)
目前未知
- 母公司数据库类型、表规模与每月数据量未说明
- consolidate 的具体转换规则与复杂度未交代
- 监管条例内容及排除开源的具体范围未说明
- 旧 ETL 软件的产品名与具体失败细节未给出
继续核实
- 受监管企业常见的母公司→子公司数据复制,除 ODBC 外还有哪些源/目标组合?
- 现有商业 ETL 在月度自动化表复制加整合场景中的实际短板是什么?
- 要求商业支持且禁用开源时,企业如何实际选型与采购此类工具?
- 这类需求在子公司数据合规场景中是普遍现象还是个别案例?
主题词
database replicationodbc data transferdata consolidationetl tool selectionregulatory compliance