- 1、本文档共27页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
基于数据湖的数据准备
演讲人:柴成亮
单位:北京理工大学
目录
CONTENTS▶背景、研究意义与挑战
任务感知的相关数据发现
人机协作的数据准备策略
数据高效的模型效率优化
背景介绍:数据湖(DataLake)
●基本概念:数据湖是一种在存储系统中以自然格式存储数据的方法,对企
业中的所有原始数据进行统一存储,用于报告、可视化、数据科学和机器
学习等各种任务。
数据仓库数据湖
数据格式专有格式开放格式
结构化、半结构
数据类型主要是结构化数据
化和非结构化
DataPrep.数据质量高质量低质量
性能高低
扩展性高扩展性高扩展性低成本
场景支持BI/SQLDI/SQL/DS/ML
背景介绍:数据准备(DataPreparation)
●数据准备:多源异质数据的发现、融合、清洗与标注,以便进行精准的
数据分析
Forbes:Datascientistsspendaround
80%oftheirtimeonpreparingand
managingdataforanalysis.
“为了进行数据分析,数据科学家通常“推动大数据采集、清洗、存储…等技
要花费80%的精力来准备数据”术创新,培育数据采集、标注、存储…
等全生命周期产业体系”
MichaelStonebraker:Data
scientistsspendmorethan90%time
ondatadiscovery,datacleaningand
integrationbeforeanalysis.
“数据科学家通常在数据发现、清洗与“促进社会事业数据融合和资源整合,
融合上花费超过90%的精力”将极大提升政府整体数据分析能力”
挑战
数据杂强相关数据难发现
数据脏高质量数据难获取
您可能关注的文档
- Databend(吴炳锡):数据汇聚平台建设及挑战.pdf
- Kyligence(马洪宾):预计算价值的量化和对大企业数据平台建设的意义.pdf
- 百度云(朱洁):基于通用硬件构建的云原生数据库.pdf
- 北京大学(邹磊):图上的高效路径查询.pdf
- 大模型赋能投研之七:如何结合结构化数据搭建本地智能投研系统?-RAGFlow原理篇.pdf
- 第一财经商业数据中心:2025年隐形眼镜行业报告.pdf
- 国家石油公司如何应对贸易紧张局势.pdf
- 华西证券:历史视角下的美国关税分析:经济与资产影响.pdf
- 诺亚财富:2025上半年诺亚控股CIO报告.pdf
- 欧冶云商(薛晓刚):通用数据库的SQL优化.pdf
最近下载
- 绿氢产业发展白皮书(2025年)-香橙会研究院.docx
- 浙江省温州市2023-2024学年高一下学期期末考试政治试题(解析版).docx VIP
- GB50009-2012 建筑结构荷载规范.pdf
- 水库调度工考试题库版与答案(926题).docx
- 河南省平顶山市2024_2025学年高二生物下学期期末考试试题含解析.doc VIP
- 2022年(广东)广州市中考数学试卷.pdf VIP
- 市政道路工程竣工验收方案.pdf VIP
- 急性重症胰腺炎护理查房PPT.ppt
- SONY索尼数码摄像机HDR-PJ820E用户说明书.pdf
- 《4.1 采集数据》教学设计教学反思-2023-2024学年中职信息技术高教版.pdf VIP
文档评论(0)