1.1 我们身边的数据
知识点
1.本单元要学什么
单元主题:初识数据与计算——先认识"数据是什么",再体会"数据能算什么"。
| 小节 | 核心问题 |
|---|---|
| 1.1 我们身边的数据 | 数据是什么?数据、信息、知识有什么区别?数据怎么采集、怎么呈现? |
| 1.2 数据的计算 | 数据怎么算?人工算、工具算、程序算有何不同? |
贯穿全单元的一条主线:数据 → 信息 → 知识 → 决策。这条链条从 1.1 建立,在后面所有单元(编程计算、数据编码、数据分析、人工智能)中不断复用。
2.数据是什么
定义:数据是对客观事物的符号记录,是信息的载体,是可被计算机识别、存储与处理的符号集合。
关键理解(三句话):
- 数据不只是数字——文字、图形、图像、声音、视频、位置、甚至行为轨迹都是数据;
- 数据是原始的、未加工的记录(如"38.5"本身没有意义);
- 数据只有放到具体情境中才有意义("38.5 ℃ 体温"才是信息)。
举例:超市小票上一串数字是数据;把它汇总成"本月销售额"是信息;据此判断"周末客流量更大,应增加人手"是知识;再据此刻意调整排班策略并持续优化,就是智慧的体现。
3.数据、信息、知识与智慧(DIKW 模型)
这是本小节最重要的一个考点,四级层次必须能区分、能举例。
| 层次 | 英文 | 含义 | 特征 | 举例(气温) |
|---|---|---|---|---|
| 数据(Data) | Data | 对客观事物的符号记录,未经解释 | 原始、离散、无意义 | 38.5 |
| 信息(Information) | Information | 数据经加工处理后,对人有意义的解释 | 有意义、有情境 | 今天最高气温 38.5 ℃ |
| 知识(Knowledge) | Knowledge | 信息之间建立联系与规律,可指导行动 | 规律性、可迁移 | 气温高于 35 ℃ 时中暑人数明显上升 |
| 智慧(Wisdom) | Wisdom | 运用知识做出判断与决策,解决新问题 | 创造性、价值导向 | 高温天提前开放纳凉点并调整户外作业时间 |
四者关系(一句话背下来):数据是基础,信息是加工后的数据,知识是信息的规律化,智慧是知识的创造性运用;层层递进,后者依赖前者。
数据与信息的关系(两种常见表述都要会):
- 数据是信息的载体,信息是数据的内涵;
- 数据 ≠ 信息:同一组数据在不同情境下可以产生不同的信息;同一条信息也可以用不同形式的数据来表达。
易错判断题:
- "数据就是数字" —— 错,数据还包括文字、图像、声音等。
- "信息就是数据" —— 错,信息是加工后的、有意义的数据。
- "数据越多,信息越多" —— 不一定,杂乱数据("数据噪声")反而会干扰判断,需要清洗。
4.数据的表现形式
| 形式 | 说明 | 常见例子 | 计算机中的处理 |
|---|---|---|---|
| 数值 | 可以参与算术运算的数据 | 成绩、身高、温度、金额 | 整数与实数 |
| 文本 | 字符序列 | 姓名、地址、文章、代码 | 字符编码(见 3.1) |
| 图形图像 | 图形(矢量)与图像(位图) | 图标、照片、地图 | 像素与色深(见 3.1) |
| 音频 | 声音的数字化记录 | 语音、音乐、提示音 | 采样、量化(见 3.1) |
| 视频 | 连续图像按时间排列 | 短视频、监控录像 | 帧率与压缩(见 3.1) |
| 其他 | 位置、轨迹、传感器信号、行为日志 | GPS 轨迹、点击流 | 结构化存储 |
提示:这一节只需建立"数据形式多样"的观念,具体的编码原理放在 3.1 数据编码,不要提前展开。
5.数据的特征(六个"性")
- 客观性——数据是对客观事物的记录,不以人的意志为转移;
- 可存储性——数据可以保存在纸张、磁盘、云端等载体上;
- 可传递性——数据可以在人与人、设备与设备之间传播(这也是网络安全问题的根源);
- 可加工性——数据可以被整理、计算、分析,产生新的价值;
- 共享性——数据可以被多方同时使用而不减少(与实物不同);
- 时效性——数据的价值会随时间衰减(如天气预报、股票行情)。
另需注意:数据还具有可度量性(可以用 bit/Byte 计量)与可复制性(复制几乎零成本)。
6.数据处理的四个环节(必背流程)
数据采集 → 数据加工与整理 → 数据分析 → 数据呈现
(获取) (清洗、转换) (统计、挖掘) (可视化、报告)
| 环节 | 做什么 | 常用手段 |
|---|---|---|
| 采集 | 获取原始数据 | 传感器、网络爬虫、问卷调查、系统日志、公开数据下载、人工录入 |
| 加工与整理 | 清洗(去重、纠错、补缺)、转换(统一格式、单位)、分类编码 | Excel 分列与筛选、Python 数据清洗 |
| 分析 | 统计、对比、找规律、建模型 | 求和/平均/频率、分类汇总、数据透视表、相关分析 |
| 呈现 | 用图表或报告表达结论 | 柱形图、折线图、饼图、散点图、词云、地图 |
为什么"加工整理"不能省:原始数据往往含有缺失值、重复值、错误值与格式不统一的问题。"垃圾进,垃圾出"(GIGO)——数据质量决定分析结论的可靠性。
7.数据采集的常用方式
| 方式 | 特点 | 典型场景 |
|---|---|---|
| 传感器采集 | 自动、连续、精度高 | 温湿度监测、智能手环计步、农业大棚 |
| 网络爬虫 | 按规则自动抓取网页数据,效率高 | 商品价格、舆情、招聘信息 |
| 问卷调查 | 面向人的主观数据,需设计问卷 | 学习习惯、满意度调查 |
| 系统日志/埋点 | 系统自动记录行为数据 | 网站访问日志、App 点击流 |
| 数据库导出/接口调用 | 获取已有结构化数据 | 教务系统成绩、天气 API |
| 人工录入/实验测量 | 灵活但效率低、易出错 | 纸质档案数字化 |
合规提醒(素质目标):采集数据必须合法、正当、必要,采集个人信息应告知并取得同意,不得窃取他人隐私数据。
8.数据可视化与图表选用(高频考点)
可视化的作用:把抽象数据变成直观图形,帮助快速发现趋势、对比、分布与异常。
"什么目的用什么图"——这张表必须记熟:
| 分析目的 | 首选图表 | 说明 |
|---|---|---|
| 比较不同类别的大小 | 柱形图(条形图) | 类别少、差异明显时最清晰 |
| 展示随时间变化的趋势 | 折线图 | 连续时间序列(月度销售额、气温变化) |
| 展示各部分占整体的比例 | 饼图(环形图) | 类别不宜超过 5~6 项,且需互不重叠、合计为 100% |
| 分析两个变量的相关性 | 散点图 | 看是否呈线性、是否聚集 |
| 展示数据分布 | 直方图 | 分区间统计频数 |
| 展示层级/占比叠加 | 矩形树图、堆积柱形图 | 多层级结构 |
| 文本数据 | 词云 | 词频高低用字号体现 |
| 地理位置数据 | 地图(热力图) | 区域分布与密度 |
选图三问:比什么(对比→柱形)?看什么(趋势→折线)?占多少(占比→饼图)?
可视化中的"欺骗"(批判性思维):纵轴不从 0 开始、刻意截断坐标轴、使用夸张的 3D 效果、只截取有利时间段,都会放大或掩盖差异。看图表要先看坐标轴与单位。
9.延伸:大数据(4V)
| 特征 | 英文 | 含义 |
|---|---|---|
| 数据量大 | Volume | 从 TB 到 PB、EB 级 |
| 处理速度快 | Velocity | 数据产生与要求响应的时间间隔短(实时流数据) |
| 类型多样 | Variety | 结构化、半结构化、非结构化数据并存 |
| 价值密度低 | Value | 海量数据中有价值的信息占比小,需挖掘 |
记忆:"多、快、杂、值"——量大、速快、样多、值稀。
大数据与本校小节的关系:正因为数据量大、类型杂、价值密度低,才更需要本节讲的采集—加工—分析—呈现这套流程,也更需要后续单元的编程计算与数据分析能力。
10.数据与生活:机遇与风险
机遇:精准推荐、智慧交通、疫情追踪、个性化学习、科学决策。
风险:
- 隐私泄露——个人行踪、消费习惯、健康数据被过度采集;
- 数据滥用——"大数据杀熟"、算法歧视;
- 数据安全——被窃取、被篡改、被勒索;
- 信息茧房——算法只推"你喜欢的",视野变窄。
应有的态度(素质目标):
- 数据意识:遇到问题先想"有没有数据能帮我判断";
- 数据伦理:不伪造、不篡改、不非法获取数据;
- 隐私保护:最小化授权、定期清理、不随意公开个人信息。
11.速查表
| 序号 | 考点 | 结论 |
|---|---|---|
| 1 | 数据的定义 | 对客观事物的符号记录,是信息的载体 |
| 2 | DIKW 顺序 | 数据 → 信息 → 知识 → 智慧 |
| 3 | 数据与信息的关系 | 数据是载体,信息是加工后的、有意义的数据 |
| 4 | "数据就是数字" | 错,还有文字、图像、声音、视频等 |
| 5 | 数据表现形式 | 数值、文本、图形图像、音频、视频 |
| 6 | 数据特征 | 客观、可存储、可传递、可加工、共享、时效 |
| 7 | 数据处理四环节 | 采集 → 加工整理 → 分析 → 呈现 |
| 8 | 数据质量原则 | 垃圾进,垃圾出(GIGO) |
| 9 | 采集方式 | 传感器、爬虫、问卷、日志、接口、人工 |
| 10 | 比较大小用 | 柱形图 |
| 11 | 看趋势用 | 折线图 |
| 12 | 看占比用 | 饼图 |
| 13 | 看相关性用 | 散点图 |
| 14 | 看分布用 | 直方图 |
| 15 | 大数据 4V | Volume、Velocity、Variety、Value |
| 16 | 大数据价值特征 | 价值密度低(不是价值高) |
| 17 | 图表"欺骗" | 纵轴不从 0 起、截断坐标轴、夸张 3D |
12.课堂提示(讲课参考)
- 开场用一个班的身高/成绩单:先给一串原始数字问"这说明了什么",学生答不出,再加工成平均分、最高分、分布图——"数据→信息"的差别一下就体验到了。
- DIKW 用"体温"一条线讲透(38.5 → 高烧 → 高温天易中暑 → 调整户外作业),比四个抽象定义好记得多。
- 图表选用让学生"投票":给四个真实场景(校运会各班得分、月考排名变化、班级手机品牌占比、每天学习时长与成绩),让他们选图并说理由,比背表格有效。
- 务必强调"加工整理"这一环:学生做数据题时最容易跳过清洗,导致结论错。