数据库流程-麦库记事数据丢失了

来源：可视化：一张图看懂史上最全的数据分析过程（新手学习）

一个完整的数据分析过程应该包括以下几个方面。 建议收藏此图，仔细阅读。

（注：为看得更清楚，已保存图片）

作为数据分析师，无论最初的职业定位是技术还是业务，到了一定阶段后最终都会承担起数据管理的角色。 因此，更高层次的数据分析师需要具备完整的知识结构。

这里顺便分享一张数据分析全流程图，数据人必备！ 高清电子版下载地址：

1. 数据收集

理解数据采集的意义在于真正理解数据的本来面目，包括数据产生的时间、条件、格式、内容、长度、限制等。 这将有助于数据分析师更有针对性地控制数据生产和收集过程，避免因违反数据收集规则而导致的数据问题； 同时，对数据采集逻辑的理解，增加了数据分析师对数据，尤其是数据异常变化的理解。

例如：

Omniture 中 Prop 变量的长度只有 100 个字符。 在数据采集和部署过程中，不能将包含大量中文描述的文本赋值给Prop变量（超出的字符会被截断）。

在Webtrekk323之前的Pixel版本中，单条消息默认最多只能发送2K数据。 当页面包含的变量过多或变量长度超过限制时，通常的解决方案是在保持数据采集需求的同时，使用多个sendinfo方法分片发送； 而在325之后的Pixel版本中，单条信息默认最多可以发送7K数据，非常方便解决代码部署中单条信息过载的问题。 （Webtrekk按请求次数付费，请求次数越少费用越低）

用户离线使用APP时，由于无法连接互联网导致数据发送出去，导致正常时间内数据的统计分析出现延迟。 直到下一次设备连接到互联网时，数据才能被发送并归于那个时间。 这导致在不同时间查看相同历史时间数据时会出现数据差异。

在数据采集阶段，数据分析师需要更多地了解数据生产和采集过程中的异常情况，以便更好地溯源。 另外，这也可以在很大程度上避免“垃圾数据输入导致垃圾数据输出”的问题。

2.数据存储

无论数据是存储在云端还是本地，数据存储都不仅仅是我们看到的数据库那么简单。 例如：

数据存储系统是MySql、Oracle、SQL Server还是其他系统。

数据仓库的结构以及每个库表如何相关，星型、雪花型或其他。

生产数据库接收数据时是否有一定的规则，比如只接收特定类型的字段。

生产数据库如何处理异常值、转换、留空或返回错误。

生产数据库和数据仓库系统如何存储数据，名称，含义，类型，长度，精度，是否可以为空，是否唯一，字符编码，约束规则是什么。

遇到的数据是原始数据还是ETL后的数据数据库流程，ETL规则是什么。

数据仓库数据的更新机制是什么，全量更新还是增量更新。

不同数据库和数据库表之间的同步规则是什么，哪些因素会导致数据差异，如何处理差异。

在数据存储阶段，数据分析师需要了解数据存储的内部工作机制和过程。 核心因素是在原始数据的基础上做了什么样的处理，最终得到什么样的数据。 由于数据在存储阶段不断变化、迭代更新，其时效性、完整性、有效性、一致性和准确性往往因软件、硬件以及内外部环境问题得不到保证，从而导致数据在应用过程中出现问题。后期。

3.数据提取

数据提取就是取出数据的过程。 数据抽取的核心环节是从哪里获取、何时获取、如何获取。

在数据抽取阶段，数据分析师首先需要具备数据抽取的能力。

常用的Select From语句是SQL查询和抽取的必备技能，但即使是简单的数据检索也有不同层次。

第一层是根据条件从单个数据库中提取数据的能力，其中是基本的条件语句；

第二层是掌握跨表抽取数据的能力，不同的join有不同的用法；

第三层是优化SQL语句，通过优化嵌套、过滤逻辑层次和遍历次数等，减少个人实践浪费和系统资源消耗。

二是理解业务需求的能力。 比如业务需要“销售”字段。 相关字段至少包括产品销售额和产品订单金额。 区别在于是否包括优惠券和运费等折扣和费用。 包括这个因素就是订单金额数据库流程，否则就是产品单价×数量的产品销量。

4.数据挖掘

数据挖掘是面对海量数据提取数据价值的关键。 以下是算法选择的基本原则：

没有最好的算法，只有最合适的算法。 算法选择的原则是准确性、可操作性、可理解性和适用性。

没有一种算法可以解决所有问题，但是掌握一种算法可以解决很多问题。

挖掘算法中最困难的部分是算法调优。 同一算法在不同场景下的参数设置是相同的。 练习是获得调音经验的重要途径。

在数据挖掘阶段，数据分析师必须掌握数据挖掘的相关能力。 第一是数据挖掘、统计学、数学基本原理和常识； 二是要熟练使用一种数据挖掘工具，Clementine、SAS或R都可以，如果是程序出身，也可以选择实现编程； 三是了解常用的数据挖掘算法以及每种算法的应用场景和优缺点。

5.数据分析

与数据挖掘相比，数据分析更偏向于业务应用和解释。 数据挖掘算法得出结论后，如何从结果、可信度、意义等方面说明算法对业务的实际意义，以及如何将挖掘结果反馈到业务运营过程中，以方便业务理解和执行是钥匙。

6、数据显示

即数据可视化的部分，数据分析师如何将数据视图呈现给业务的过程。 数据呈现除了遵循各公司统一规范的原则外，具体形式还应根据实际需求和场景确定。

基本质量要求如下：

最重要的一点是，数据展示始终是数据内容的辅助，有价值的数据报告才是关键。

七、数据应用

数据应用是数据价值的直接体现。 这个过程需要数据分析师具备数据沟通能力、业务推广能力和项目工作能力。

数据通信能力。 简明扼要的数据报告，简明扼要的数据结论，更有利于业务的理解和接受。 类比和举例是非常实用的技能。

业务驱动能力。 在业务理解数据的基础上，推动业务落地，落实数据建议。 这是从业务中最重要、最紧迫和最有效的部分开始的好方法。 同时，还要考虑业务落地的客观环境，即好的数据结论需要有客观的落地条件。

项目工作能力。 数据项目工作是一个循序渐进的过程。 无论是数据分析项目还是数据产品项目，都要求数据分析师具备计划、领导、组织和控制项目工作的能力。

最后分享一张我整理的数据分析过程的知识图谱，大家可以自己去扒。 包含12个常用分析模型、18个理论分支、136个详细知识点和60多个数据分析实用分析场景。 知识点不懂或者记不住，可以配图查，数据人必备！ 高清电子版获取方式↓↓