【荐读】基于文本数据的消费者洞察

作者介绍
@edan

前商业数据分析师，现 TMD 数据产品经理。

期望和数据小伙伴一起做些有意思的事情～

01 什么是消费者洞察？

随着社会的发展，中国消费者所处环境在变，消费观念也在变：大家从应付生活转变为经营生活、享受生活。在急剧变化的市场环境下，影响消费品牌成长的因素很多，其中深刻理解消费者，并对消费者心理、行为变化做出及时的反应是关键的一环，这也就是通常大家所说的 “消费者洞察”。

我们可以借用 Laddering 模型理解消费者洞察：“从产品属性、功能性利益、情感性利益、价值观等不同层面来分析消费者的不同层次的偏好和动机，了解赢得他们好感的因素”。

在互联网领域，消费者洞察（即用户调研）是产品工作中重要的一环。只有深入理解用户的行为习惯及背后的的诉求，才能为用户带来好的用户体验。

同样在营销领域，消费者洞察也是所有营销动作的起点，产品定位环节需要挖掘目标群体在不同场景的诉求，产品推广环节需要找到匹配消费诉求的沟通话术触达消费者，已经投入市场的产品需要通过口碑分析来诊断产品的健康度。

02 基于文本大数据的消费者观察

在互联网时代来临之前，消费者洞察基本都是通过问卷结合用户访谈的形式展开，这种形式的好处在于，想问什么就可以问什么。但是问题也很明显，样本量少，用户表达不一定真实。

而在互联网时代，网上已经有大量消费者的表达，如微博、电商评论、论坛帖子（比如宝宝树），甚至是一些像医疗专业领域，也有如好大夫等问诊平台承载用户表达。这给消费者洞察提供了更优质的 “土地” ：

1）样本量更大。不像过去问卷调研，几百个样本都已经很大，线上可供研究的消费者是亿级别；

2）场景更丰富。比如消费者用薯片来炒菜这样的场景，是很难在问卷中被问出来的；

3）表达更真实。不是被问题引导出来的回答，而是消费者自己说的。

所以围绕着线上文本展开的消费者洞察已被品牌方广泛认可。

03 从文本数据到洞察结果

下面以母婴行业的纸尿裤品类为例，给大家介绍介绍如何基于文本大数据做消费者洞察。

1）确定目标群体，抓取相关数据

在纸尿裤市场，虽然用户是 0-3 岁的宝宝，但真正的消费者是妈妈群体，而且妈妈们从孕期开始就会关注纸尿裤，所以孕期妈妈到宝宝 1 岁的妈妈是我们的目标分析用户。为了获取目标用户的线上言论，笔者通过爬虫技术从相应的母婴论坛去抓取妈妈们的数据，这些数据包括基础信息的数据、文本相关数据（帖子、问答）、妈妈关注关系的数据，如下图。

2）通过打标签，把文本数据结构化

比如 “花王纸尿裤实在有点厚”，这句话中包含 “花王纸尿裤”、“有点厚” 两个信息维度。如何提取这两个信息维度呢？于是笔者就构建了包含不同维度信息的关键词词库，如果句子中有相应的关键词，那么这个句子就有对应的维度标签。

举个例子：假设已经构建好的词库中【纸尿裤品牌-花王】维度包含三个关键词：花王、kao、妙而舒。因为 “花王有点厚”、“kao 的纸尿裤有点厚”、“妙而舒有点厚” 这三句话都匹配上了花王维度中某个关键词，所以都包含花王品牌这个信息点。具体如何实操，下面我们详细展开～

（1）构建词库

（a）通过专业信息初步搭建词库框架。比如构建纸尿裤领域的词库，可以先通过电商网站抓取商品相关的信息。以下是京东上可以抓取的帮宝适的品牌信息、功能特点信息。结合一些行业经验，笔者初步梳理出点词库框架，并将这些官方的表达作为初步的词库维度内容。

（b）应用 NLP 分词技术，对词库做扩展补充。随机选取一定量的文本，可采用 python 软件中的 jieba 包对每个句子做分词。按照词频的顺序从高到低，把关键词放入到对应的维度中。已有的分类做关键词补充即可；如果没有的维度则添加新维度，形成相对完成的词库。

为了更灵活的适配消费者表达，可以采用正则表达式的模式替代普通的关键词。词库落地后的具体形式如下表，其中，tagname 表示词的维度名，keywords 是关键词的正则表达。

（c）人工抽查样本数据，审核词库覆盖率&准确率。随机抽取 1000 条文本，遍历看完每一条文本，并对其中没有命中的关键词做补充，匹配错的关键词做限定修改（小技巧：借助软件高亮已经匹配的词，可大大提升审核效率）。

覆盖率=文本中所有关键信息点被覆盖/抽查的文本数量；

某维度准确率=对应维度正确标注的文本数量/命中该维度的文本数量。

当覆盖率>90%，词库整体准确率>90%，即可将词库投入使用。

（2）通过词库对文本打标签；

写一个 python 小脚本，输入词库，输出打标后的数据。基本步骤如下：

输入文本文件 -> 基于一定的规则对每个独立的文本做短句切分（比如按照句号/分号）-> 基于词库对每一个短句做打标 -> 形成标签数据。

具体结果形式如下表（sessionid 即切分的短句 id），基于标签数据就可以做维度的交叉分析。

（3）情感识别

识别情感主要通过机器学习模型做情感分类。基于词库打标，已经可以从文本中捕捉出对应的「实体-特征」（比如「花王-透气」），我们进一步抽取一定量的数据做情感人工标注（负面/正面/中性）。最后再交由模型去训练，并对更多的文本数据做情感预测。

3）数据分析

文本数据结构化后，笔者就可以对消费者进行挖掘分析。下面以品类市场的需求分析、品牌认知的差异分析为例子展开说明。

（1）品类市场的的需求分析

分析纸尿裤品类文本对不同需求的提及量，和不同需求的正向言论比例，可以发现 “红屁屁/过敏” 是现在消费者认为非常重要，且并没有很好被满足的需求点。根据需求重要度、需求满意度两个公式，得出相应结果，如下图。

需求重要度=某需求的关注用户数/提及纸尿裤品类或品牌的用户数；

需求满意度=某需求的正向表达言论数/某需求的提及言论数。

（2）品牌认知的差异分析

从有品牌认知的消费者中看，不同品牌的提及量具有显著差别（如下图）。

花王、好奇、帮宝适是最受关注的 TOP3 品牌，其中，好奇和第一名花王的差距非常小；

好奇的系列辨识度要远高于帮宝适，其中，帮宝适品牌中仅 3% 的用户会明确提及产品系列。

品牌关注度=提及某品牌的用户数/提及任意品牌的用户数。

从消费者的正面评价中不同需求点的分布看，用户选择各品牌的原因主要是（如下图）：

「不红屁屁/过敏」「好用」是品牌都被消费者认可的点；

好奇更被消费者认可的是「不红屁屁/过敏」、「柔软」、「透气性」；

花王更被认可的是「产地」；

帮宝适更被认可的是「吸水性」、「价格」。

04 总结

本文的目的在于以案例的方式让大家理解如何通过文本数据进行消费者洞察，如果工作中有相关数据场景的可按照文章的思路进行基础实操。因篇幅有限，相关知识点无法更全面的为大家展开（比如，如何通过更多自然语言处理方法来高效构建词库），感兴趣的童鞋记得留言探讨哟～

​
一个数据人的自留地是一个助力数据人成长的大家庭，帮助对数据感兴趣的伙伴们明确学习方向、精准提升技能。关注我，带你探索数据的神奇奥秘

1、回“数据产品”，获取<大厂数据产品面试题>

2、回“数据中台”，获取<大厂数据中台资料>

3、回“商业分析”，获取<大厂商业分析面试题>；

4、回“交个朋友”，进交流群，认识更多的数据小伙伴。