【doc】基于Web源的客户需求获取及分析方法

【doc】基于Web源的客户需求获取及 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 方法 基于Web源的客户需求获取及分析方法 第1O卷第9期 2004年9月 计算机集成制造系统 ComputerIntegratedManufacturingSystems Vo1.1ONo.9 Sep.2004 文章编号:1006—5911(2004)09—1165—06 基于Web源的客户需求获取及分析方法 郭伟,胡明艳 (天津大学机械 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院,天津300072) 摘要:为把握市场动态和了解客户需求,提出一种从广域网中及时获取及分析客户信息的方法.在对比分 析分散式和集中式Web信息源优劣特征的基础上,提出了由集中式Web原始信息源到市场分析数据集间的映射 关系,建立了以产品生命周期特征为基础的信息分析知识库以及相应的量化处理规则集.该方法基于所建立的知 识库和分析规则,采用规则驱动的数据挖掘技术,首先进行原始Web信息单元特征定位分析,进而对信息单元中 的客户需求进行词频统计分析和内容分析,以形成产品市场整体趋势以及系统的客户需求分布.最后结合典型行 业的信息源进行了具体应用. 关键词:源信息;客户需求;数据挖掘 中图分类号:TP391.1文献标识码:A 0引言 客户需求是产品开发的驱动力,也是市场营销 决策的基础,但传统的市场调查方法由于成本高,周 期长,已远不能满足企业对客户信息的需求.随着 互联网的飞速发展,特别是集中汇聚客户信息的 Web源已经成为了解客户需求,把握市场走向的重 要渠道,其相关的理论方法和应用的研究日益成为 学术界与工业界关注的重点口]. 本文深入分析了web信息源的特征,针对集中 式信息源,建立了面向市场/客户分析的信息组织映 射关系,详细介绍了相应的需求获取与分析的流程 和方法,并以此为基础,结合汽车行业的典型信息源 进行了工具的开发与具体应用的研究. 1基于Web的客户需求信息源特征分析 1.1Web信息源特征 基于Web的客户需求信息的分布,总体上可以 分为分散式和集中式两种(如表1).分散式信息源 不仅信息存储分散,而且内容也具有较大的发散性, 对市场或客户的需求难以进行纵深地分析;集中式 信息源围绕客户与市场来组织和展开,具有信息量 大,涉及面广等诸多优点,为系统地进行用户需求分 析提供了可能. 表1Web的信息源特征分析 分布方式描述形式特征典型示例 分布于新闻,产品信息量大各网站的 Web上的介绍,电子但分散,获新闻频道 分散式多个网站商务取和分析 难度大,不 全面 集中在某BBS,产品信息量大新浪网站 一 网站上,论坛,厂商且集中,获的汽车论 集中式针对某一网站取方便,涉坛 市场或产及面广 品的信息 从市场分析与客户需求角度出发,基于集中式 Web信息源的信息获取方法与基于市场调查方式 相比具有众多优点(如表2),必将受到企业和客户 收稿日期:2003—08—18;修订日期:2003—11—27. 基金项目:国家863/CIMS主题资助项目(2003AA41522O). 作者简介:郭伟(1965一),男,安徽人,天津大学机械工程学院教授,博士,主要从事 CIMS的系统建模和集成技术,企业过程管理与优化等方 面的研究.E—mail:wguo@tju.edu.cn. 计算机集成制造系统第10卷 更大的重视. 表2基于不同获取途径的信息特征对比表 信息获取信息获取内容产品,竞争,信息数 量时间客户可靠性 途径成本广泛性服务方面 集中式网络周期短,实时客户是直接获取客户涉及内容 成本低数量庞大及时响应 信息源反映客户信息主动的信息,可靠性高广泛 市场调查投入大与投入周期长客户是为提高可靠性根据预设的 反应迟缓 (传统信息源)成本高有关反馈慢被动的必须加大投入目标进行 集中式Web信息源的众多优点,必会使其成为 获取和分析客户需求的主要信息源.在集中式信息 源中,网站论坛是最典型和实用的方式,许多商业网 站都提供这种服务,通常每一个论坛都有主题,面向 某一类或某一种产品,构成该主题的信息池.客户 通过在网站论坛注册与发表信息帖,形成丰富的用 户信息,包含三类内容:?用户信息,如用户的姓名, 年龄,职业,联系方式和经济状况等;?用户需求信 息.如对产品的看法,意见,使用心得,构成一个信 息单元,对某个品牌/产品而言,形成用户信息的聚 集(产品信息池).?产品/市场的累计信息,即某种 产品的市场同步表现,产品在整个信息源中的关注 状态等. 1.2集中式Web信息源的信息组织结构与市场 分析框架映射的建立 集中式信息源具有数据量庞大,数据增长迅速 和内容杂乱无章等特点,较难对原始数据进行处理 分析,特别是实现对市场/客户需求的分析与跟踪. 因此,首先应在信息源与市场分析组织框架之间建 立起相互对应的关系,通过映射关系的建立,构造形 成Web信息源的面向市场与客户分析的数据模式 (如图1). 目前,Web信息源常用数据树组织结构,如图1 左侧部分所示,其中的多级链接分别为"源栏目", "产品信息池"及"信息单元".对应市场与客户分析 要求,构成以单元产品特征和技术特征为核心的两 Web信息源结构市场分析组织框架 …' 信 息 苴 兀 信ll信 息l……l息 单Il单 元ll元 信 息 苴 一 兀 种数据组织模式,如图1右侧部分所示.涉及某个 品牌(企业或集团生产)的一种或多种产品(产品 线),包括产品的上市时间,产量及销量,价格等特征 构成了市场分析的数据集合;另一方面,按照行业产 品技术细分 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 又可将信息源按技术类细分为数据 集合.这两种数据模式具有各自独立的结构,但内 部数据具有交叉性,即存在于产品模式中的数据也 可能存在于技术模式中,形成展开市场与用户需求 分析的组织框架. 2面向Web信息源的市场与用户需求分析 2.1基于Web信息源的需求分析层次与知识库 构建 以图1的映射关系为基础,形成了基于web信 息源的需求分析层次,包括市场整体分析和客户需 求分析两部分.市场整体分析是对市场结构的研 究,能够从整体上把握市场的结构与发展趋势;客户 需求分析是从产品技术的角度对信息单元内容进行 分析和再组织. 分析知识库是实现有效获取客户需求的基础. 根据需求分析的层次性需要,所构建的分析知识库 的组织分为两个层次,即面向整个信息源和面向产 品.面向信息源的知识库将信息源重新组织并分 类,其内容对应于信息源的多级链接,形成市场分析 的整体构架;面向具体产品的知识库内容,从内容分 析的角度,以产品生命周期(ProductLife—cycle l垫查丝1 .......................J...一 技术细分标准 高ll喜1..,l蠢lI垂l…Ill茎图1原始Web信息源与市场分析组织框架的映射 Stage,PLS)为划分标准(投入期,成长期,成 熟期和衰退期),标志用户关注点.因此,在 建立知识库时应充分考虑产品的周期性,以 便根据产品的周期特征和客户需求反应的集 中度,调整相应产品知识子集(Product KnowledgeDivision,PKD),以提高分析速度 与效率.表3是建立的一个面向汽车产品的 典型分析知识库的示例. 第9期郭伟等:基于Web源的客户需求获取及分析方法研究 表3典型分析知识库组织结构示例(汽车行业) 面向整个信息源的知识框架 产品级技术级 {PLS}投入期成长期成熟期衰退期 关注热点功能和技术销售和售后服务价格变化不确定 产品名称与产品所属的生命周期相联系的知识子集 型号(技术类} 生产商{PKD}{价格评论}{销售与售 {政策法规} 产量机械部件发动机转向机构变速系统后服务} 销量ABS功率 ,排量助力挂档降价特约维税 悬挂转速,扭矩方向盘自动挡性价比修站,首保燃油税 {PKD}子集离合器油耗…手动挡税改费 2.2基于规则的产品池信息单元特征定位分析 在集中式Web信息源中,信息单元的特征表示 用户对产品焦点的关注,如产品的价格,服务,性能 等.通过单元信息的特征分析,可以确定相关的 PKD子集,并由此以相关的PKD子集为重点方向 与依据,使后续进行的信息单元的内容分析更为有 效. 信息单元的特征分析,涉及了相关产品的PLS 状态,根据分析知识库的构建,定义了下列两条规则 以完成PLS状态界定和PKD的子集确定,由此完 成单元信息的特征分析.以产品投入期为例,相关 规则如下: 第一,依据市场,产品生命周期函数与信息源产 品生命周期函数,确定关注产品的PLS值. f(M,S)一1f(M)+2f2(S).(1) 其中,M,s分别表示从市场分析维度和从信息源的 结构特点分析维度出发的产品生命周期取值,和 .为各自权重.PLS的界定主要从两个方面考虑: ?从市场分析维度分析产品所处的生命周期.瞬息 万变的市场环境很难量化,只能选取可获得持续信 息的细分市场进行分析.?从集中式信息源的数据 结构和特点维度出发,挖掘相同周期的产品特性并 量化其具体区间,实现产品的自动界定功能,如信息 池累计存留时间,顾客发表评论的累计数量等都为 产品周期的归属提供了可靠支持.其中,M,S分别 表示从市场分析维度和从信息源的结构特点分析维 度出发的产品生命周期取值,和为各自权重. 鉴于其各自因素的不同影响程度,将式(1)中f(M )和f2(S)分解如下: -厂1(^)一1lt+12S+13r,(2) f2(S)一21P+22口+23h.(3) 其中,.,..和..是各影响因子的权 重,与,z形成一套权重体系,通过层次分析法 (AHP)确定具体取值方案,然后选择典型产品的相 关数据进行对比分析后确定最终取值.本文中(, 2,12,13,21,22,23)相应的取值为(0.4,0.6, 0.5,0.2,0.3,0.4,0.5,0.1).式中的t,S,r,P,口和 h分别代表表4中各影响因子的量纲一分值,是通 过计算公式"中间值一(影响因子实际值一区间最小 值)/(区间最大值一区间最小值)"计算出的中间值 加上量纲下限得到的(无区间边界值取实际值的最 大/最小值).PLS的取值区间是依据典型产品的 相关数据 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 并验证的结果,与选取的分析对象,信 息池容量等都有直接的关联,是以大量数据作为基 础,以科学的数据挖掘方法——聚类分析作为 工具来确定的. 第二,依据产品信息单元的PLS状态值,确定 关注产品的PKD子集. If{zEPLB:Investing},Then{YEPKD: Investing}.(4) 其中,z为信息单元所涉及的产品,Y为相应的知识 子集中的关键字.PKD子集中各类关键字是按照 隶属度的大小有次序的排列的,如式(5): {PKD:Investing}一{{Technology},{Price},{Sale andService},{Policy}}.(5) 处于投入期的产品受到更多关注的往往是产品 本身的性能以及采用的新技术,因此技术类关键字 作为首先分析的内容排在了PKD子集的最前沿, 计算机集成制造系统第1O卷 其他类的关键字依此类推.其具体计算规则是选择 一 定周期的单元信息,按关键字进行词频统计,作 为其隶属于PKD子集的隶属度. 市场整体分析和客户需求分析的效率与准确性 对PKD的选择有很大的依赖性,因此PKD集的确 定和完善具有很重要的意义.先确定子集的初始状 态,随着数据量的增加和方法的不断调整,以及分析 结果的反馈,使用聚类分析等方法逐步完善各生命 周期的PKD,为客户需求分析提供了参考. 表4典型信息源中产品PLS状态界定判定规则 PLS及其取值区间 影响因子投入期成长期成熟期衰退期 Eo,1)[1,2)Ee,3)E3,4) 细 分进入市场时间f/a10,0.25)[0.25,1)[1,10)[10,+..) 市 场销售量(每周)s[O,20)2O.100)rl0O.+..)[O,20) 特 征市场占有率r/Eo,0.5)Eo.5.7.5)E7.5,lOO)Eo,0.5) 信信息池累计存留时间p/aEo,0.08)E0.08,0.75)E0.75,min(T,5))Emin(T,5),+..] 息 源信息池容量增长率n/max(n)[10,100)[一lO,10)(一...一10 特 征信息池容量增长变化率h/[1O,1)[一1O,lO]min(h)max(h) 注:T论坛存在时间;信息池容量增长率一平均每周信息单元数量的增长百分比;信 息池容量增长变化率同一信息池相邻 时间单元的增长率变化. 2.3信息单元内容分析及其流程 信息单元的特征定位提供了关键字的有序集 合——PKD子集,为后续的内容分析奠定了基础. 本文设计了用于论坛信息获取及信息单元内容分析 的系统流程,如图2所示. 完善方 库 图2客尸需求获取及分析流程图 将特定网站/栏目Web信息源的数据,通过下 载过滤器进行冗余处理之后保存到本地数据库.利 用挖掘方法库对信息单元数据进行分析处理,分析 知识库支持分析处理的过程,这是对数据进行处理 的核心.首先使用面向信息源的知识库定位产品信 息,依据上述规则确定其PLS及PKD,并以此为重 点分析信息内容.主要包括两种方式:其一是关键 字的词频统计,其二是以此为基础的交互式信息内 容的处理. 根据PKD提供的关键字次序依次进行统计处 理,是关键字分析的主要内容;统计结果作为热点分 析,周期分析,客户需求分析以及市场总体分析的基 础.统计分析方法是利用统计学,概率论的原理对 关系中各属性进行统计分析,从而找出它们之间的 关系和规律J. 交互式的分析方法需要用户人为判断已结构化 的分类信息,从而对产品的某一方面做出结论性的 总结,帮助市场调查人员及企业领导调整产品功能 或营销策略,以适应客户需求和市场变化.在分析 过程中使用到的另一重要的数据挖掘方法是分类分 析.使用分类分析方法,根据数据的结构特点构造 分类器,把相关联的关键字合成一个大类,利用类别 的描述和模型产生一个相对应的数据集. 3信息源在汽车行业中的应用 3.1信息源示例 下面以某网站轿车论坛为例,具体说明客户需 求获取及分析方法的应用.网站为每一种市场上的 车型都开辟了一个页面,客户在网站注册成为正式 会员之后可以自由发表评论.客户数据的内容主要 包括注册用户名,发表评论的时间,评论的详细内容 及客户信息等(如表5). 第9期郭伟等:基于web源的客户需求获取及分析方法研究 表5论坛信息源结构及内容示例 客户信息 需求 品牌型号用户名时间评论内容(信息单元)收入/年龄/车龄发表评论分析 职业 (元/月)统计 2002一O2—15 如果你现在用的高压线工作良技术出租 汽AXmxm好,那么即使你一味地加强火星性能车司4OOO35/7154 国产16:07:50 主塞的跳活能量,你也得不到更多 评价 LEC评价法下载LEC评价法下载评价量规免费下载学院评价表文档下载学院评价表文档下载 机 论内品的马力输出 品信坛 牌息2O02——02——15价格私企> York叶大家别急着买,我看还差得远37/354 池15:59:49评论业主10000 呢,卖八万以内还算合理 国际 品牌 3.2多层面的典型分析结果 (1)长周期市场热点分析 选取市场上五款经济型家庭轿车,根据2002— 08—01至2002—10—31的信息源数据进行分析. 图3,图4为长周期车型关注点击跟踪分析和点击 分析累加图.由图3可以看出,在产品成熟期内,客 户需求统计数据显示平稳,在节假日期间都有规律 性下降,此外在波动较大的时候都有针对本车型的 事件(例如降价,促销等)发生,导致客户关注度的变 化.由图4的累加图可以得到各车型的关注率,关 注率的变化同样反应了市场的走向与波动. ;} ;1 l | | 0,\0 l.;^/^AA—A_,^" r,J^ ,v\', l1III}IIIlIlIIIIII1lllIllillIl1IIIlIIlIII11}Il1IIIll?lIII}IlItlllllIIll}tIIIIIIIllIIII?ll 8月1日9Jq1日1O月1日1O月31日 市场细分:排量为1.3,1.6升,家庭轿车,价格1O万左右 图3经济型家庭轿车车型关注点击分析图 A 车型长周期排名 A135311 B66714 C63303 D43382 E46435 _?B , . 一 / lml? /一 l咖_ 一 加a? . 一一 ?/锄 ,一 一 ————?:::锄 ? / /一 . ::= —0? 一 一 一二=========三二二===:=====—一—一mm __主三r/;一 OOIIIlllJlll}Il『IlllJlltlIll『l}IlJllIlIlllll1lIIl『llIllIIIllllllIIlIll1llIlIllIIIllIIlllllllI 8月1日lO月1日1O月31日 图4车关注点击累加图 A 车型长周期排名 A135311 B66714 C63303 D43382 E46435 1170计算机集成制造系统第10卷 (2)客户产品关注热点分析与相关内容分析 选取A和B短周期的客户数据进行产品聚焦 分析,如表6所示.分析得出车型A的客户关注度 要高于B,同时,分析表明车型A和B的发动机及 机械部件是当前用户都比较关注的结构部件.在表 6的基础上,根据分析所确定的所属于产品A的发 动机,机械部件和转向结构等客户信息单元集,可引 入交互式分析,即由市场销售人员,产品设计人员参 加的对信息单元内容的深度分析,以进一步建立完 整客户需求. 表6产品关注热点对比表 评论客户关注产品热点分析(前5名)/数量 车型 数量l2345 发动机/机械部件/转向结构/变速机构/ A58O车轮/54 24ll248542 发动机/机械部件/变速机构/仪器部件/ B32l车身/63 l268732l9 (3)其他典型分析 将信息源积累的客户基本信息与市场热点分 析,产品关注热点分析等进行聚合分析,可进一步开 展潜在客户的购买意向分析,现有客户服务需求与 忠诚度分析以及围绕特定产品的内容深度分析等. 4结束语 以web为载体的信息源,为企业提供了新的动 态跟踪市场与分析客户需求的重要途径.本文在对 网络信息源进行深入分析的基础上,利用数据挖掘 的理论与方法,建立了完整的基于Web的客户信息 获取与处理的理论方法与工具系统,并结合汽车行 业进行了具体应用,取得了很好的效果.同时,对利 用Web信息源开展动态连续的客户需求分析与市 场分析的理论方法,工具开发与应用等进行了积极 的探索. 参考文献: [1]GU0Guoqing,CHENGDong,WANGXiaodong,eta1.Mar ketingmanagement[M].Beijing:ChinaRenminUniversity Press,l997(inChinese).[郭国庆,成栋,王小东,等.市场营 销管理[M].北京:中国人民大学出版社,l997.] [23XIEDanxia,LIXiaodong.Applicationofdataminingonweb anddesignoftools[J].ComputerApplications,2002,21(2): 4244(inChinese).[谢丹夏,李晓东.数据挖掘技术在Web 上的应用及其工具设计[J].计算机应用,2002,2l(2):42 44.] [3]DANIELSJJ,RISSLANDEL.Acase—basedapproachto intelligentinformationretrieval[A].Proceedingsofthe18th annualintemati0nalACMSIGIRConferenceonResearchand [4] [5] [6] [7] [83 DevelopmentinInformationRetrievalrC].NewYork.NY. USA:ACMPress,l995. LIUHongyan.CHENJian.CHENGuoqing.Reviewofclassifi— cationalgorithmsfordatamining[J].JournalofTsinghuaU— niversity(Sci&Tech),2002,42(6):727730(inChinese). [刘红岩,陈剑,陈国青.数据挖掘中数据分类算法综述[J]. 清华大学(自然科学版),2002,42(6):727—730.] WEIKC,NANCESBI.PUSKORIUSGV.Gainingcon— sumerinsightsfromautomatedtextualdataanalysis[A].Pro— ceedingsofInstitutefor0perationsResearchandtheManage mentSciences(INFORMS)Spring2000ConferencerC]. 2000. GUOWei,ZHENGJiangbo,QIHaiyan,eta1.Methodology forproductplanningbasedonmarketinformation[J].Journal ofComputer—AidedDesign&ComputerGraphics.2001.13 (1):48—51(inChinese).[郭伟,郑江波,齐海燕,等.基于市 场综合分析的产品规划方法研究[J].计算机辅助设计与图形 学,2001,l3(1):48—51.] YEBing,CHENYing.ResearchonsearchingInternetinfor— mationoftradeproducts[J].ComputerIntegratedManufac— turingSystems,2002,8(6):487—490(inChinese).[叶冰, 陈鹰.行业产品的Internet信息搜索研究[J].计算机集成制 造系统,2002,8(6):487—490.] WANGJicheng,PANJingui,ZHANGFuyan.Researchon Webtextmining[J].JournalofComputerResearch&Devel— opment,2000,37(5):513—520(inChinese).[王继成,潘金 贵,张福炎.Web文本挖掘技术研究[J].计算机研究与发展, 2000,37(5):5l3—520.] MethodologyofexploringandanalyzingtheVOCbasedonextensivewebdatasource GUOWei.HUMing—yan (Sch.ofMechanicalEng.,TianjinUniv.,Tianiin300072,China) Abstract:InordertotrackthemarkettrendsandobtainfullunderstandingofVoiceofCustomers(VOC), anewmethodofanalyzingdynamicproductinformationthroughthewebmediawaspresented.Basedon theanalysisofadvantages/disadvantagesofthedistributedandconcentratedwebdatasource,asystematic mappingrelationship,fromtheoriginalwebsourcetostructuredmarketingdatasetting,wasestablished. ThenaknowledgebaseorganizedonfeaturesofProductsLifecycleStage(PLS),aswellastheinvolved quantitativerulesusedinclassifyingtheV0Cinformation,wasdeveloped.So,therule— drivendatamin— ingmethodwasappliedtoidentifythePLSclassificationoftheoriginaldatacel1.Furthermorethemethods offrequencycountingandcontentanalyzingwereconductedtothedatacellconsequentlysothatbothmar— kettrendandasystematicunderstandingofVOCcouldbeobtained.Finally,adetailedprocess waspres— entedbyusingtypicalwebdataonautomotiveproduct. Keywords:datasource;voiceofcustomer;datamining Received18Aug.2003;accepted27Nov.2003. Foundationitem:ProjectsupportedbytheNationalHigh— Tech.R&DProgram,China(No.2003AA415220)