大数据主要来源可以划分为互联网产生的数据 企业业务数据 物联网感知数据 政务公共数据 科研与工业采集数据这五大类,现在日常所说的大数据,不是单一渠道收集,而是多渠道持续不断生成的海量数据,这些数据有结构化表格数据,也有图片视频文字这类非结构化数据,数据体量增长很快,更新频率高,很多人以为大数据只来自手机上网,其实工厂传感器 公共摄像头 科研实验 企业订单系统同样是非常重要的数据来源,不同来源的数据特点不一样,采集方式 存储格式 应用场景都有区别,理解这几大类来源,就能明白大数据为什么体量庞大类型繁杂。
五大来源详细说明
1 互联网产生的数据
用户在社交平台浏览评论点赞,短视频观看记录,网页搜索,电商下单,在线聊天,论坛发帖,这些用户行为全部会留下记录,属于互联网端用户生成数据,也是大众最熟悉的大数据来源,包含文本 图片 视频 点击日志。
2 企业业务数据
企业内部经营系统持续产生数据,比如订单 客户信息 财务报表 仓储物流 进销存 客服记录,银行交易记录,保险理赔数据,这类数据大多是结构化数据,用来做经营分析风险管控。
3 物联网感知数据
各类传感器智能设备自动采集的数据,智能电表 环境监测传感器 工业设备传感器 交通摄像头 车载定位设备,设备不间断采集温度 湿度 位置 运行状态,属于机器自动生成的数据,增长速度非常快。
4 政务公共数据
政府部门公共业务产生的数据,户籍 交通通行 医保 气象 国土测绘 公共交通调度,经过合规开放之后可以形成公共大数据,用于城市管理公共服务优化。
5 科研与工业采集数据
天文观测 基因测序 实验仪器采集,工业生产线检测数据,这类数据精度高,专业性强,主要用于科学研究工业仿真产品检测。
来源分类对照表
| 数据来源 | 数据生成主体 | 数据类型 | 典型例子 |
|---|---|---|---|
| 互联网数据 | 普通网民 | 非结构化为主 | 搜索记录 短视频日志 |
| 企业业务数据 | 企业系统 | 结构化为主 | 订单 交易流水 |
| 物联网数据 | 智能传感器设备 | 时序数据 | 温度 定位 设备状态 |
| 政务公共数据 | 政府部门 | 结构化混合 | 气象 交通通行数据 |
| 科研工业数据 | 实验仪器工业设备 | 专业时序数据 | 基因数据 生产线检测 |
数据采集补充要点
大数据采集之后还要经过清洗 去重 脱敏处理,原始来源里面会存在错误数据重复数据,不能直接使用,同时采集和使用数据必须遵守相关法律法规,个人信息类数据需要获得授权,不能随意抓取泄露,不同来源的数据可以打通融合,形成更大规模数据集,支撑人工智能预测分析业务决策。
【常见问题】
问题 1 大数据主要来源于哪几方面里面,手机上网属于哪一类
回答 1 大数据主要来源于哪几方面里面,手机上网产生的浏览点击搜索记录,属于互联网产生的数据,是用户行为类大数据来源
问题 2 大数据主要来源于哪几方面,摄像头属于哪一类来源
回答 1 大数据主要来源于哪几方面,交通摄像头属于物联网感知数据,由设备自动采集,属于机器自动生成的大数据来源
问题 3 大数据主要来源于哪几方面,银行交易记录属于哪一类
回答 1 大数据主要来源于哪几方面,银行交易记录属于企业业务数据,属于金融机构业务系统产生的结构化大数据来源
【免责申明】
本文属于大数据基础科普内容,仅用于知识学习参考,数据采集使用需要遵守国家数据安全与个人信息保护相关法律法规,不可违规抓取和滥用数据。


