- 1、本文档共27页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
基于数据湖的数据准备
演讲人:柴成亮
单位:北京理工大学
目录
CONTENTS▶背景、研究意义与挑战
任务感知的相关数据发现
人机协作的数据准备策略
数据高效的模型效率优化
背景介绍:数据湖(DataLake)
●基本概念:数据湖是一种在存储系统中以自然格式存储数据的方法,对企
业中的所有原始数据进行统一存储,用于报告、可视化、数据科学和机器
学习等各种任务。
数据仓库数据湖
数据格式专有格式开放格式
结构化、半结构
数据类型主要是结构化数据
化和非结构化
DataPrep.数据质量高质量低质量
性能高低
扩展性高扩展性高扩展性低成本
场景支持BI/SQLDI/SQL/DS/ML
背景介绍:数据准备(DataPreparation)
●数据准备:多源异质数据的发现、融合、清洗与标注,以便进行精准的
数据分析
Forbes:Datascientistsspendaround
80%oftheirtimeonpreparingand
managingdataforanalysis.
“为了进行数据分析,数据科学家通常“推动大数据采集、清洗、存储…等技
要花费80%的精力来准备数据”术创新,培育数据采集、标注、存储…
等全生命周期产业体系”
MichaelStonebraker:Data
scientistsspendmorethan90%time
ondatadiscovery,datacleaningand
integrationbeforeanalysis.
“数据科学家通常在数据发现、清洗与“促进社会事业数据融合和资源整合,
融合上花费超过90%的精力”将极大提升政府整体数据分析能力”
挑战
数据杂强相关数据难发现
数据脏高质量数据难获取
您可能关注的文档
- Databend(吴炳锡):数据汇聚平台建设及挑战.pdf
- Kyligence(马洪宾):预计算价值的量化和对大企业数据平台建设的意义.pdf
- 百度云(朱洁):基于通用硬件构建的云原生数据库.pdf
- 北京大学(邹磊):图上的高效路径查询.pdf
- 大模型赋能投研之七:如何结合结构化数据搭建本地智能投研系统?-RAGFlow原理篇.pdf
- 第一财经商业数据中心:2025年隐形眼镜行业报告.pdf
- 国家石油公司如何应对贸易紧张局势.pdf
- 华西证券:历史视角下的美国关税分析:经济与资产影响.pdf
- 诺亚财富:2025上半年诺亚控股CIO报告.pdf
- 欧冶云商(薛晓刚):通用数据库的SQL优化.pdf
- DB31/T 1297-2021政务公开管理规范.pdf
- 《DB31/T 1297-2021政务公开管理规范》.pdf
- 《T/ZQIE 006-2023金利五金 高品质家居用缓冲型杯状暗铰链》.pdf
- T/ZQIE 006-2023金利五金 高品质家居用缓冲型杯状暗铰链.pdf
- 《DB32/T 3976-2021液化气体自动灌装衡器通用技术规范》.pdf
- DB32/T 3976-2021液化气体自动灌装衡器通用技术规范.pdf
- CQJTG/T E02-2021重庆市高速公路施工标准化指南.pdf
- 《CQJTG/T E02-2021重庆市高速公路施工标准化指南》.pdf
- T/ZSCQO 001.1-2023首席质量官 第1部分:推行组织质量管理体系要求.pdf
- 《T/ZSCQO 001.1-2023首席质量官 第1部分:推行组织质量管理体系要求》.pdf
最近下载
- (高清版)DB51∕T 3137-2023 柑橘园间作豆类栽培技术规程.pdf VIP
- 《个人所得税申报指南》课件.ppt VIP
- 复盘高手-自我认识与自我精进的底层逻辑.pdf
- 【高考物理】【物理二轮】【紧抓课本】【回归教程】2025高考物理回归课本与教程---以图说法---图说物理教材(紧抓课本).docx VIP
- 三升四语文暑假作业.pdf
- 上海市浦东新区八年级(下)期末数学试卷.docx VIP
- 案例教学法在党校教学中的应用.doc VIP
- 醋酸酐危险化学品安全周知卡.docx VIP
- 2024年辽宁省大连市中考数学试卷(含答案及解析).docx
- 2019-2020数学分析B期末考试卷A卷答案.pdf VIP
文档评论(0)