随着数字智能渗透到各行各业，数据需求、数据用户数量、数据来源同时爆发式增长。 这给企业的数据工程效率、成本以及数据的有序管理带来了巨大的挑战。 周伟林将传统的ETL工程改造为痛点，总结为“ETL差距”。 如何跨越鸿沟，实现数据生产力百倍提升？ 数据管理迫切需要新思维、新架构、新技术。 它开创了一种新的数据工程范例，通过自动化方式消除手动 ETL。 这就是“NoETL”概念。
NoETL的核心是转变数据生产的驱动力。 传统ETL由ETL工程师驱动，而NoETL由ETL代理（）驱动，相当于为每个企业提供了一批24/7持续在线的ETL专家，实现ETL任务的“自动驾驶”。 NoETL与近年来持续受到更多关注的架构理念高度一致。 旨在通过数据管理流程的高度自动化，减少或消除传统的基于人工的ETL操作，实现更高效的数据交付、使用和治理，重构数据生产力。 数据工程架构主要有四大特点：
1.：走管道，无需关心数据位置；
2.：免运维，无需担心任务运维；
3.：自我优化，无需担心查询性能；
4.：变被动为主动，实现数据管理“自动驾驶”。
依托NoETL数据工程架构思想，实现了数据虚拟化引擎、数据语义引擎和主动元数据引擎三大核心技术突破，带来了新的数据集成解决方案、新的数据交互接口和新的数据管理模式。 ，这三大技术能力构成了产品体系的基石。
肖宇红介绍了国内第一个逻辑数据平台。 通过数据虚拟化引擎、AI增强策略引擎、主动元数据引擎，实现多源异构数据的逻辑整合与融合、自适应数据加速、自动化数据链路编排、集中数据治理与控制等，帮助企业轻松突破数据孤岛，数据交付效率提升10倍，存储和计算成本节省50%以上。 敏捷数据准备方案已在招商银行实施并验证，实现了全球数据的统一接入和管理，显着提升业务效率和数据管理灵活性，同时显着降低存储和计算成本以及ETL团队的负担。
周全介绍了全球首个实现操作者级血统分析的主动元数据平台。 借助精准全面的谱系分析能力和主动元数据管理能力，完美解决企业数据管理中“清晰可见”和“不可控”的难题，让数据管理流程更加自动化，轻松应对EB级数据 大数据管理需求。 基于语义分析技术，实现了算子级的SQL脚本自动分析和算子级谱系图构建，实现了全局字段计算语义的精确刻画。 基于对元数据的深入分析和挖掘，为用户提供高置信度的建议或设计。 经多家大型银行验证，帮助客户快速定位链路异常，百倍完善模型治理，实现高效可靠的全链路数据质量保障。
除了数据的整合和整合，企业在实际数据使用中常常面临指标管理的困境：指标口径混乱、交付效率慢、重复开发成本高、维度不灵活、解读困难等。针对上述问题首席业务架构师杜雪芳介绍了以应用理念设计的自动化指标平台。 该产品采用独立的指标语义层，一次定义指标，多处使用，真正实现了指标的“定义即生产”和“管用一体化”。 以证券行业客户为例，完美解决了业务指标口径不一致的问题。 指标开发周期从几周缩短到几分钟。 同时积累了统一的数据资产，形成了统一的自上而下的数值语言。
作为NoETL架构的具体实现，这三款产品共同构成了“自动驾驶”数据工程和管理的解决方案。 周伟林强调，作为一家有着“NoETL重塑数据生产力”信念的公司，其初衷和使命就是让数据随需应变。
作为中国数字化转型的领先企业之一，招商银行认为，通过数据洞察提高管理和营销的精准度，让运营和服务更加精细化和个性化，是参与下一阶段数字银行竞争的核心动力。 经过多年探索，招商银行数字技术与业务场景的融合已逐步进入深水区。 业务需求的灵活性给数据模型带来了空间和时间复杂度的新挑战，主要表现在报表查询和自助分析的响应上。 速度、中心与分支机构之间的数据传递效率、数据同步和共享时的语义一致性问题等。张军军介绍了招商银行商业智能团队如何共同应对上述挑战，共同探索实用的敏捷数据解决方案。 该解决方案利用自助数据探索/准备工具和海量数据自适应加速引擎，实现数据需求交付模式的创新，为海量数据分析提供新思路。 同时，面向业务的“数据集/指标”支持跨BI工具、跨总部和分支机构、跨业务线的复用，有效促进企业级业务逻辑的沉淀和使用一致性。
张军军表示，招商银行实施了敏捷数据服务体系，该体系基于数据虚拟化引擎，连接多源异构数据源。 在此基础上提供数据准备、分析和报告制作的工具； 它是面向用户的。 提供统一的数据语义服务，不仅可以快速传递数据，还可以实现语义共享。 面向未来，招商银行将继续携手探索数据分析智能化路径，推动业务从自助数据使用向智能数据使用升级。
本次大会充分展示的NoETL驱动的数据工程架构依托公司团队20年的大数据技术实践积累，并已在国内率先通过三款产品的商业化实现最佳实践。 被列为2022年十大战略趋势技术之首，被国际公认为解决超大规模数据管理问题、充分释放数据价值的趋势解决方案。 但由于这一技术体系在国内市场尚未形成清晰的认识，实施路径还不够清晰。 产品和业务成果代表了国内整个细分领域最先进的进展，也为未来五年中国企业数智化建设的发展提供了实践经验和建设目标。
企业数字化、智能化运营浪潮带来了更加严峻的数据管理挑战。 面对更加复杂的行业场景，作为面向未来的数据架构理念的引领者，我们将凭借先进的架构思想和技术优势，加速释放企业数据潜力。 给整个行业的数据管理带来深刻的变革。
关于
（大盈科技）是一家自动化数据管理软件提供商，国内架构理念的领导者。 以“让数据随时准备好”为使命，致力于消除数据管理技术瓶颈，提升ETL工程自动化水平，帮助企业顺利升级。 一代大数据基础设施。
自主研发的逻辑数据平台，支持异构数据的逻辑整合、集成和查询。 通过自适应物化加速和自动回收技术，可实现秒级查询响应，节省50%以上存储和计算成本； 主动元数据平台基于全球独创的运营商级血统分析技术，让复杂的数据链路清晰可见、可管理、可管理，实现更加精细化、智能化的数据管理； 自动化指标平台改变了“业务需求IT开发”的传统模式，支持业务人员从任意粒度、任意维度灵活分析指标生活网消息，实现指标“定义即开发，定义即服务”。
本网站转载其他媒体之作品，意在为公众提供免费服务。如权利所有人拒绝在本网站发布其作品，可与本网站联系，本网站将视情况予以撤除。
Copyright © 2017-2018