基于大数据挖掘技术的证券零售客户适配性服务应用研究

1内部资料仅供参考传导(2018年第17期,总第434期)中国证券业协会2018年5月2日“稳中求进中的证券业发展机遇与挑战”重点课题研究系列 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 之十四基于大数据挖掘技术的证券零售客户适配性服务应用研究一、研究背景2007年以来，证券公司营销队伍、营业网点和客户规模均快速增长，但是服务水平和服务能力并没有随之出现明显提升，同质化竞争现象依然严重，下调佣金成为业内竞争的主要手段。原因不仅在于营销服务人员专业能力不足，对客户的投资特征与投资偏好缺乏足够的判断能力，还在于存在一定数量的客户处于无服务关系的自运转状态，人工服务的触达率较低，亟需系统性辅助工具。另一方面，健全证券公司投资者适当性管理机制在当前资本2市场发展形势下具有重要意义，这既是证券公司创新发展的内在需要，也是培育投资者理性投资观念和行为的重要保障。面对庞大的客户群体，投资者教育需要融入到客户行为的各个环节，同时需要借助更为先进的技术手段和场景设计去发挥KYC（KnowYourCustomer,了解你的客户）的作用。随着各类互联网应用的推出，券商获取客户信息的渠道和触点变多，因此会有大量的客户相关信息的数据积累。如何在海量的数据中，构建合理的数据模型，分析得出带有预见性的、针对各个投资者需求的市场投资观点，是券商渴望获得的差异化竞争手段之一。而大数据、云计算和人工智能技术的快速发展以及在各行业的渗透，让证券公司逐步具备了对规模大、类型多、流转快的大数据进行存取、检索、分类和统计的能力，进而使得通过分析利用数据资源为客户提供更有价值的个性化服务成为可能。二、国内外大数据技术的应用现状进入大数据时代后，越来越多的企业开始关注大数据的价值，券商也渐渐开始启动大数据的相关研究和分析工作，试图挖掘数据价值，不过目前基本都还处于早期应用阶段。第一是预测股票价格。2011年，英国出现了利用从Twitter等社交网络获取到的数据信息来分析市场情绪的对冲基金。通过利用大数据分析技术，从客户发布的海量社交内容中提取出能够体现客户偏好的内容，进而综合起来对市场情况进行分析，最终3得出相关结论来引导客户进行投资。该只对冲基金在第一个月交易结束时便开始盈利，并且收益远高于其他对冲基金。之后，又有美国学者对Twitter、脸书等社交网络上的客户社交信息进行了研究，这次他们追踪了星巴克、可口可乐以及耐克这三家公司，对比他们在社交网络上的受欢迎程度，以及他们的股票价格的波动情况。通过分析发现，社交网络上的受欢迎程度跟这几家公司的股价之间存在密切的关系。随着研究的不断深入，研究人员开始利用获得的公司受欢迎程度数据对公司股价进行预测，结果显示预测准确率很高，最多可以预测公司30天后的股价变动。第二是客户细分。国内比较典型的案例有广发证券和平安证券。他们通过分析客户的交易类型、交易的生命周期、投资时间等信息，实现了对客户账户信息维度的细分；根据客户的资产峰值情况、交易量情况，以及平均资产和佣金贡献度等情况，实现了对客户账户价值维度的细分；根据客户的资产周转情况、持仓情况、持股时间等，实现了对客户投资偏好的细分；根据收益率、投资能力等情况，实现了对客户投资收益的细分。通过360度全方面地分析客户交易和投资行为，辨识出更有价值和盈利潜力的客户，然后定向给此类客户提供定制化的服务项目，使得资源得到更好的配置。第三是流失客户预测。对券商而言，客户是公司最核心的资4源，但是实际情况是客户经常会因为各种难以预测的原因发生流失。2012年，海通证券启动了关于客户流失课题的研究。他们通过自主研发的“基于数据挖掘算法的证券客户行为特征分析技术”对客户进行了全方位分析，形成深度客户画像，并据此计算出客户的流失概率。通过对客户各项指标的预测，提前推算出大概率可能会流失的客户，以及预计流失发生的时间，可以让营销人员提前介入进行沟通，降低客户流失最终发生的概率。整体来看，虽然券商已经意识到大数据的重要性，并且也已经开始积极尝试利用大数据分析来支持营销服务，但是具体应用方面还处在早期起步阶段，缺乏对大数据技术更深和更广的运用。随着近年来互联网金融、金融科技的不断发展，证券行业在大数据技术的应用方面必然会有跨越式的发展。三、数据仓库和数据挖掘相关理论（一）数据仓库1.定义“数据仓库”概念最早在20世纪80年代初由数据仓库之父W.H.Inmon提出。数据仓库是数据分析及决策导向的重要基础，是信息提供的一个重要平台，为整个企业各个部门的工作优化、流程改进、质量控制及整体的运行决策而服务，是具有面向主题、集成性、稳定性和时变性等特征的结构化的数据环境，是单个的数据存储，也是各个层面决策支撑及数据来源的重要战略集5合。数据仓库包括海量的数据，需要的存储空间很大，能够为企业提供时间维度较广的数据支撑，也可以通过其内部积累的大量数据来挖掘出数据更深层次的意义，为企业更好地运行发展提供更有价值的导向。2.架构类别数据仓库主要有以下类型的架构：（1）独立数据集市架构独立数据集市架构通常是针对特定部门的业务需求而建设的，独立于业务系统而存在，也称为部门级数据仓库。不同部门建立的数据集市相互独立，每个数据集市的数据存储模型互不相同，且其ETL*处理程序也相互独立，适用于中小企业针对固定主题建立少量的数据集市，具有见效快、成本低的优点。但是，互相独立的数据集市不能给企业提供统一的信息视图，而且随着企业规模的扩大，数据集市势必增多，系统的复杂程度大大提升，后期维护的难度很大。（2）联邦架构联邦式架构一般有两种类型，一种是地域联邦，一种是功能联邦。各联邦数据仓库能互相提供访问接口，并利用参考数据实现数据仓库的整合，因此能将分散的数据整合并提供虚拟的统一视图。但是，联邦式架构的数据仓库必须采用类似总线架构的方*ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。6法建立，否则容易出现数据不一致的问题，导致数据整合不彻底。联邦式架构的数据仓库更适用于解决独立数据集市的整合问题。（3）总线架构总线式架构分别由前台数据集市和后台数据准备区组成，其中数据采用维度建模的方式构建。这种架构由于结合了自上而下以及自下而上的构建思路，可以在短时间内以较低的成本将数据仓库通过一系列同维度的数据集市构建而成，从而能更快地获得投资收益。但是系统在无法预测结果的查询分析上缺乏灵活性，且系统存储的信息不完整，无效数据较多。（4）集线器与轮辐架构企业信息工厂(CorporateInformationSystem，CIS)是由Inmon提出的，应用了集线器与轮辐式架构(HubandSpokeArchitecture)。这种架构会对数据仓库进行分层，最为典型的是分为两层结构。原子层是基于第三范式对数据进行处理，建立中央数据仓库（EDW），数据来源为全企业的各业务处理系统的数据。原子层的作用至关重要，是基础，为第二层针挖掘仓库或者对各种分析需求建立的从属数据集市等提供信息，业务人员基于不同的信息查询和数据处理需求连接到不同的数据集市。这种方式的优点是实现了企业信息的统一视图，缺点也是比较明显的，就是数据不能在数据集市之间进行交换，对于业务人员来说进行7跨数据集市的信息处理和访问比较困难。（5）集中架构集中式架构是针对分析需求及动态业务查询的存放基础数据的一个大数据集市。物理的数据集市有专门的单独储存管理的软硬件设备，逻辑数据集市访问原子层则通过视图的方式。集中式架构能够提供更为完善的业务数据模型，但需要的资金较大，单独建立数据集市才能支撑数据存储及查询分析的需求，这种方式也会使集中式架构失去优势，架构本身趋向接近于集线架构。通过对以上数据仓库架构类别的分类对比，可以得出，总线架构、集线器与轮辐式架构、集中架构明显会优于独立数据集市架构及联邦架构的数据架构形态。但在非预知性查询上总线架构 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 现的并不理想，集线器架构与轮辐架构又存在功能上不关联互助、信息不共享互换、信息与业务流程和应用相互脱节的弱势。从数据仓库使用者的角度来看，证券公司覆盖区域较广，分支机构相对较多，不仅是总部，证券公司在各地域的分公司、各个地域的营业部、信息咨询机构、证券登记结算公司等的数据都是证券公司数据仓库内数据的主要来源。因此，采用集中架构来搭建数据仓库是相对较好的 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，这也是不少大型券商的实际选择。（二）数据挖掘1.定义8数据挖掘需要通过自己的编程来掌握编程语言，注重与技术层面的结合，对数据有较强的敏感性并运用统计学数据处理的常用方法，来探究数据的内在规律。有学者分别从理论角度和应用角度给出了数据挖掘的定义。（1）数据挖掘的理论定义数据挖掘的英文为Datamining，字面理解为资料的探索及数据的开采，是数据库内容加工的一个过程，是指从大量的、积累的、未清晰分类的、人们实际接触运用的信息数据中提取出深层的、不易显现的信息并从新的维度展示整理的过程。数据挖掘的学科交叉性，也使数据挖掘能够通过数据统计、数据的分析处理、数据库技术、专业领域人员的专业敏感度等维度挖掘数据信息，从而提供更多维度综合后的决策信息支持。（2）数据挖掘的应用定义数据挖掘利用海量数据来探索其数据中隐藏的价值，并结合市场及客户行为探究更为适宜的行为模式。数据挖掘可以按照企业决策及部门间的主要目标，针对性地对大量数据进行分析处理，找出其内在数据间的联系及其中暗含的商业规则，并能基于历史数据预测未来趋势走向，对企业整体的决策及运营都有着重要的意义。2.主要算法数据挖掘技术能从海量数据中运用各种算法获取有价值的数9据内容，以下是几种常见的聚类分析算法。（1）基于决策树的分类算法决策树算法采用树结构对目标对象进行分类计算，对现有存在的数据按照一定标准进行排序，将其作为分类的每一个节点进行优先顺序分裂。常用的决策树算法包括基于信息熵的ID3算法，基于信息熵增益的C4.5算法以及基于Gini系数的CART分类树算法。通常情况下，决策树算法需要选择不同标准下表现最好的特征属性，然后利用贪心算法进行递归计算，最后利用剪枝算法对整个决策树进行优化，从而实现基于决策树的模型训练。（2）支持向量机支持向量机（SVM），是机器学习领域最为常用的二分类线性算法模型，其基于求解特征空间中能够满足几何间隔最大的分类器，以支持向量对需要求解的特征空间超平面进行描述。同时对于非线性分类问题，SVM提出采用基于核函数的思想，利用核函数将特征空间进行映射，使得特征空间转变为更高维度的线性空间，从而实现线性分类。常用的核函数包括高斯核函数、多项式核函数以及线性核函数等。（3）朴素贝叶斯法朴素贝叶斯（NaiveBayes）法是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设，学习输入/输出的联合分布概率，然后基于学习结10果，对给定的输入，利用贝叶斯定理求出其后验概率最大的输出，得到分类结果。（4）神经网络人工神经网络的研究历史长达几十年之久。随着神经网络研究的流行，科学家们对于神经网络的兴趣越来越浓厚。曾经一段时间里，神经网络的研究陷入低潮，主要原因是以感知机为代表的神经网络功能有局限性。但是一些科学家并没有放弃研究，他们发现了一些较有成效的模型，其中最有代表性的是Kohonen的SOM模型和Grossberg的ART模型。但真正掀起神经网络研究新的高潮是Hopfied，他用电子线路设计出网络模型，引入了能量函数的概念，对网络的动力学性质进行了较有成效的研究。Rumellhart和McCllel-land等在1986年提出了PDP理论，多层前向网络的BP算法基于这一理论得到了延伸，使得其成为迄今应用最普遍的学习算法。四、券商零售客户细分研究（一）券商零售客户细分方法客户分类是企业有效营销和服务的基础。在数据挖掘中，根据聚类的方法将庞大的用户群体进行细致地分类，根据不同类别的用户行为特征，制定不同的产品推广策略，为不同的目标群体定制特有的服务，快速达成产品目标与用户需求的统一。这里主要介绍以下几种对于用户的分类方式。111.定性归纳根据数据分析的深度，数据挖掘主要分为两种，一种是简洁表达数据中存在一些有意义性质的描述型数据挖掘，另一种是通过大量数据的分析获取一组用于预测未来趋势性质的预测型数据挖掘。定性归纳更倾向于前者，是在获取很多类别对象后再将不同类别的数据进行对比的一种分析方法。2.聚类分析聚类分析是指将数据集划分为不同类或簇的过程，是一种不同于分类的归类分析方法。分类要求划分的类别和分类规则必须是已知的，而聚类是一种无监督学习过程，所要求划分的类别是未知的，聚类规则也更抽象，同一类中对象的属性取值在聚类规则上是相同或相似的。在数据挖掘中，聚类通常是作为前期描述性任务中重要的一个环节，可以在前期对大量数据的先验知识较少的前提下对数据集进行归类，为后续的特征提取和数据预测提供帮助。3.分类分析分类算法是一种对数据进行分类预测的算法，它通过训练已有数据对未知数据进行分类预测。分类的目的是通过历史数据生成分类模型，分类模型为将来的数据贴上一个类别标签。常见的分类算法有神经网络算法、集算法、遗传算法等。4.关联规则分析12关联规则分析是主流的方法。其中，Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。基本思路是：第一步先扫描一遍数据库，通过计算每一个1项集的支持度，得到L1(Lk为k频繁集)；第二步是用反复迭代的方法找到L2，L3……直到不能再找到新的频繁项集时停止迭代。在搜索Lk时，先用Lk-1自连接方法产生候选集Ck,用一定的剪枝略裁剪候选项；再扫描数据库，计算Ck的支持度，删除非频繁项集，便得到Lk。（二）利用数据挖掘进行客户细分1.数据因子库分类通过对客户特征因子的整合聚类，根据因子属性对因子进行细分，通常可归纳为投资总体特征、交易行为特征、投资风格、投资能力、投资策略及当前持仓特征等六大类别。第一大类为投资总体特征，包含的主要因子有股龄、资产规模、品种数、盈亏、年化收益、最大回撤、夏普率、信息比率等。像因子中的夏普率是指用户投资收益经风险调整后的相对无风险收益率的超额收益，这项因子主要用于个性化服务。有了这项因子的评判标准，我们能够清晰判断客户的个性化需求，并利用夏普率的高低对客户投资进行详细配置：对于夏普率很低的用13户重点推荐理财产品和投顾组合；对于夏普率很高的用户邀请担任专职资金管理人，帮助发行产品。对于信息比率高的用户推荐融资产品，增加收益。第二大类为交易行为特征，主要包含的因子有持股数、仓位、持股时长、日平均交易额、交易时段偏好等。像交易行为因子中比较有代表性的交易时段偏好因子，是指用户在不同时间发出委托的偏好，时间主要指开盘集合竞价、开盘后15分钟、上午其他时间、下午开盘前15分钟、下午其他时间、收盘前15分钟。该因子内容能够更加准确地把握用户的个性化需求，了解用户在不同操作行为中的不同判断，准确在用户偏好交易的时段进行资讯和操作建议推荐，为用户带来更加完善的体验。第三大类为投资风格，主要包括投资股票市值、股票价值、股票成长性、股指敏感度、股票杠杆性、股票盈利性、股票行业偏好、债券品种偏好、基金类型偏好等因子。像其中比较有代表性的股票盈利性因子，主要是指用户偏好选择的股票对应上市公司的盈利比例，但更加考虑分析师对公司未来的盈利预测，数值越大说明越偏好高盈利股票。该因子主要应用在账户分析报告，让用户对自己过去投资股票的盈利能力倾向在整个用户群中的相对情况有更深认识；在投资者教育中，对于在该维度上得分很高或者很低的用户，提示用户相应的风险；在投资资讯推荐上，用于推荐用户偏好的股票类型对应的新闻、研报；在理财产品和投14顾组合推荐中，用于推荐和用户偏好相似且业绩可能更好的理财产品和投顾组合。第四大类为投资能力，主要包括的因子有资产配置能力、行业选择能力、止损止盈能力、操盘能力、选股能力、久期管理能力、组合风控能力等。其中较有代表性的因子如组合风控能力因子，主要是指某种程度上反映用户通过持有多只股票来对冲风险的能力，数值越大说明该用户利用多股票组合来对冲风险的意识或者能力强，反之则说明弱。这个因子主要能应用到账户分析报告中，让用户对自己的风险对冲能力在整个用户群中的相对情况有更深认识；在投资者教育应用中，该因子对能力或者意识相对排名较低的用户提供组合风险对冲的意义介绍及学习资料，如组合风险控制策略报告、组合风险对冲培训视频和培训课程等；在投资操作建议上，该因子能在合适时机提示风险点组合风控能力或者意识相对较差的用户，建议加减配某些股票实现组合更优收益风险比。第五大类为投资策略，主要包含的因子有动量策略、反转策略、新股次新股策略、国债回购策略、公告事件策略、资金流策略、分析师策略等。以资金流策略为例，该因子是指估计用户通过资金流和龙虎榜数据进行交易的次数及资金比例，数值越高说明用户过去交易龙虎榜上榜股票越频繁。该因子能够根据用户常用的策略帮助推荐相应的策略研究报告、新闻，帮助推荐投资产15品和投顾组合。第六大类为当前持仓特征，主要包含持仓股票、重仓行业、风险暴露、股票仓位因子。其中风险暴露因子主要是指用户当前持仓对十个主要风险维度的敏感度，敏感度越大说明该用户的组合收益越容易受该风险维度的市场波动的影响。该因子主要用于投资操作建议中，用于提示用户当前持仓最大风险点在哪，并在用户优化组合降低风险时给予相应的建议。2.客户分类客户在分类时需要对已有数据库的内容有选择地调出处理，再针对性地对数据进行详细地挖掘处理。基于用户操作的投资偏好属性、风险承受能力、产品服务偏好、盈利期待、投资周期长短等维度对用户进行详细划分。结合CRM观点，本文着重描述其中的两项维度划分标准。第一个维度是能够跟公司保持频繁互动的高活跃度用户，另一个维度是愿意更多地实现产品付费转换的客户。这两类客户于公司而言，需要花费的时间较少且能够获得较多的客户收益，是公司的优质用户群体，也可以从中得到高质量客户的两个特征数据：盈利性和忠诚度。因此，盈利性和忠诚度就作为判断客户价值的依据，也就是划分客户群的两个基本指标。（1）盈利指标盈利指标指的是客户在投资交易中转换的情况，只有选择影16响力度较大的因子才能保证盈利指标筛选的有效性，寻找到更多相关因子的内在联系，最后选择资产规模、持股数、仓位、股票市值、股票价值、行业选择能力、新股次新股策略等作为分析的因子。分类在数据挖掘中是一项非常重要的任务，目前在商业上应用最多。我们基于盈利性指标因子的分析，按风险承受能力的高低将客户群划分为五类：保守型、谨慎型、稳健型、积极型和激进型。保守型投资者：保守型投资者的特点表现为三个方面：第一，以避免本金受损和保持资产的流动性为首要目标；第二，希望投资的收益保持稳定，通常拒绝高风险，同时不期待资金有太大增值；第三，性格上，追求稳定，通常不愿意承受较大的投资波动。在这一类用户分析中我们主要会用到持股数及股票价值等因子。谨慎型投资者：在投资策略上相对保守，希望在本金基础上能有一些稳定的收益，但是不愿意尝试风险性较高的投资，对收益抱有较大期待但是整体抗风险性较差。在这类用户分析中我们会用到资产规模、持股数等因子。稳健型投资者：希望在比较小的投资风险下获得较高的收益；希望能够获得长时间稳定的投资收益，因此可以在投资风险低于市场平均风险的前提下承受一定范围的投资波动。追求较高17的目标，但是基于对风险的清晰意识，会采用折中、权衡的办法而不是激进的行动去达到预期的收益，对于这种类型的投资者分类我们通常采用股票价值、股票市值、持股个数等因子。积极型投资者：习惯投资于有一定风险但收益较高的产品，有一定的投资信心，并且有较强的商业头脑，愿意冒一定的风险去追求想要得到的收益，但也不会贸然下决定，也会给自己留一定余地。在这个用户分类中我们通常会用到行业选择能力、资产规模等因子。激进型投资者：强烈追求资金的高收益，即使冒一定的风险，也愿意追求资金高增值的可能性，为了获得高额度的资金回报，通常将资金投入高风险的品种，经常不顾后果以求取得高收益回报。这类用户在分类中会涉及到的因子有新股次新股策略、行业选择能力、持股数等。（2）忠诚度指标忠诚度指标表现客户和公司间关联度的情况，根据对这部分变量的权重分析，最终确定将股龄、股票换手率、止损止盈能力、股票成长性、操盘能力、公告时间策略及涨跌停作为分析的重要因子。分类在数据挖掘中是一项非常重要的任务，目前在商业上应用最多。我们基于忠诚度指标因子的分析，按投资周期的长短及投资的风格将客户群划分为三类：长期固定客户、中长期稳定客18户、短期偶然客户。长期固定客户：长期固定客户与公司建立业务关系后，与公司关系维持在了成熟期的理想阶段，客户忠诚度很强，能够保持和公司间较为稳定的交易转换，公司需要花费较少的投入就能换取用户较高的回报，这种类别客户股龄较长，股票换手率较高，交易比较频繁，止损止盈能力较强，涉及到的重要因子主要是股票换手率、止损止盈能力、操盘能力等。中长期稳定客户：中长期稳定客户与公司关系进入了形成期，也是关系快速发展的时期，随着与公司频繁互动，客户交易不断增加，公司收益大，进入盈利阶段。这个阶段的重要因子有股票换手率、止损止盈能力、公告时间策略等。短期偶然客户：这一阶段是客户对公司的探索和试验阶段，这一阶段客户与公司间的联系刚开始，公司投入大量成本维护吸引客户，并在探索过程中不断定性客户类别，这一阶段的客户与企业互动并不频繁，需要各种策略不断激活用户、维护用户。这种类别客户再分类时涉及到的重要因子主要有股票换手率、股票成长性、涨跌停等。五、券商产品与服务的细分研究（一）金融产品细分方法1.金融产品的定义及研究范围金融产品是指资金融通过程中的各种载体，它包括货币、黄19金、外汇、有价证券、基金、债券等。买卖双方通过竞争的方式，定义金融产品的价格，完成交易，达到资金融通的目的。金融产品的持有人权利不同，由此引起登记内容、权益类型、运作模式、风险收益特征、存续状态、价值评估等方面表现出诸多差异性。金融产品复杂多样，本研究的金融产品范围，主要包括以下四个大类：股票、债券、证券投资基金及金融衍生品。2.金融产品常见细分方法按照股东享有权利的不同，股票可以分为普通股和优先股。如果按照投资风险与收益划分，股票可分为蓝筹股、垃圾股、成长股、收入股。根据不同的发行主体，债券可分为公司债券、金融债券和政府债券。如果按照募集方式的不同，债券可分为公募债券和私募债券。按照担保性质的不同，债券可分为有担保债券和无担保债券。从投资标的维度划分，基金可分为衍生证券投资基金、股票基金、货币市场基金、债券基金等。按照募集方式划分，基金可分为公募基金和私募基金。按照交易场所划分，基金可分为场内基金和场外基金。金融衍生品从基础工具分类，可划分为货币衍生品、利率衍生品、信用衍生品、股权类产品的衍生品以及其他衍生品。按照20自身交易的特点划分，金融衍生品可分为金融期货、金融期权、金融远期合约和结构化金融衍生品。3.适配性研究中投资者最关心的一些产品要素在适配性研究中，我们发现上述基于产品发行主体、规模、投向、挂钩标的等维度的常见分类方法，与不同零售客户的实际交易行为并没有显著对应特征，换句话说，零售客户通常不会有明显的偏好投资于其中特定类型的产品。因此，如何找到客户进行投资时最关心的产品要素，以此维度对产品进行分类，将具有更重要的实际意义。研究表明，产品风险级别、存续周期、收益水平、起购/参与门槛和产品规则形态等指标是客户在产品选择中主要考虑的因素。4.确定采取的产品分类方法（1）按照风险等级分类通常，金融产品可分为低风险、中低风险、中风险、中高风险、高风险五个级别。以基金为例，分别对应以下五种分类：谨慎型产品（R1）、稳健型产品（R2）、平衡型产品（R3）、进取型产品（R4）、激进型产品（R5）。R1级和R2级投资范围基本一样，主要为低风险金融产品，包括债券和债券型基金等收益较为固定、风险较低的产品。R3这一级别的产品除可投资于联接基金、混合型基金等低波动性金融产品外，还可投资于股票型基金、私募基金等高波动性金融产品，后者的投资比例原则上不超21过30%。该级别不保证本金的偿付，有一定的本金风险，本金保障比例一般在90%以上，收益浮动且有一定波动。R4级产品挂钩股票、黄金、外汇等高波动性金融产品的比例可超过30%，不保证本金偿付，本金风险较大，收益浮动且波动较大，投资较易受到市场波动和政策法规变化等风险因素影响，亏损的可能性较高。R5级别产品可完全投资于股票、期货、黄金等各类高波动性的金融产品，并可采用衍生交易、分层等杠杆放大的方式进行投资运作。R5级别产品收益率波动较大，容易受到市场波动的影响。（2）按照产品存续周期分类不同金融产品有不同的存续期限，可满足投资者对投资周期和资金流动性的不同需求。通常，我们按照存续周期把产品分为有明显存续周期和无明显存续周期两大类，其中有明显存续周期的又大致分为1年以下、1年至3年、3年以上几个层次。对于短期偶然客户、中期稳定客户、长期固定客户有着较好的匹配度。（3）按照产品收益水平分类产品的收益水平是投资者关注的重要因素之一，尽管产品收益水平与风险水平通常有着明显的正相关关系，但从实证来看，不论是经验缺乏或是经验丰富的投资者，在购买产品或参与业务前都普遍存在着对风险预期考虑不够充分的情形，因此此处将产品收益水平（年化）也独立作为一项分类维度。从收益水平来看，22固定收益产品、银行储蓄存款，主要目的是规避利率和汇率风险，因而收益水平相对较低。金融债券、私募债、债券型基金等产品，投资对象是国债、金融债和中央银行票据等信用等级高、流动性强、风险小的产品，因此产品投资的风险性相对较低，整体收益也并不高。上市公司股票、股票型基金等权益品种，直接或间接挂钩企业经营状况，因此潜在收益较高。而期权、期货等衍生类品种，大部分都具有杠杆结构，年化收益水平波动较大。（4）按照产品起购/参与门槛分类金融产品品种众多，起购/参与门槛也各有不同。公募基金（股票型基金、债券型基金、混合型基金）起购门槛较低，一般不超过1000元即可购买；债券（国债、金融债）、联接基金起购金额通常在1000元～5万元之间；资管大集合产品、收益凭证、银行理财产品因其非公募性质，故而起购门槛也高，一般为5～20万元；期货属于一种金融投资，不仅可以先买后卖赚取差价，还可以先卖后买赚取差价，杠杆倍数较高，需要有一定财力的专业投资者才能参与，因而参与门槛高。以资管小集合、私募基金为例的私募品种，通常要求单个投资人购买的最低金额不少于100万元，并且不能拆分。（5）按照产品规则形态分类客户选择金融产品的目的主要包括：资产保值、增值、对冲、保障等。基于不同产品的规则，可以独立投资或搭配形成不23同的投资组合模式，以迎合客户不同的投资目的。如保值类产品，是指具备保证原有价值不受损失，低风险、中低门槛、兼顾流动性、可操作性强的一类金融产品，典型的代表品种有银行理财、国债、固定收益资管产品等。资产增值类产品，是指在保证原有价值基础上又有新的价值增加，典型的代表品种包括股票、权益类基金等。对冲是一种在降低风险的同时仍然能在投资中获利的手法，投资者通常同时营造两类行情相关、方向相反、数量相当、盈亏相抵的交易，可通过合理运用期货、期权等具备对冲功能的衍生金融产品工具，实现对金融产品现货的风险对冲，在一定程度上规避市场风险。保障类产品，主要以各类保险产品为主，是一种提供特定情形下承诺经济补偿的权利凭证（暂不在本文中讨论）。5.产品细分结果列示下面分别以产品风险等级、存续周期这两个首要因素为例，列示了与之匹配的客户类型。（1）盈利指标-风险承受能力表1：以“风险承受能力”进行产品细分结果名称涵义重要因子可接受的产品风险等级可匹配金融产品保守型客户保护本金不受损失和保持资产的流动性是首要目标股票换手率盈亏风险仓位资产规模债券品种偏好低风险品种：国债、债券型基金、货币型产品、银行保本型理财产品及相关服务换手率高：新股、股票型基金、短期理财产品换手率低：债券、债券型基24基金类型偏好金、固定收益产品盈利：资金规模大→融资融券、高门槛高收益高风险的理财产品盈利：资金规模小→跟投组合，小额贷款亏损：跟投组合、理财产品（亏损10%推荐）未满仓:短期理财、活期理财日平均交易额：债券型基金、货币基金、债券债券品种偏好：国债、固定利息率债券基金类型偏好：债券型基金、货币基金谨慎型客户资产稳定、增产保值是首要目标股票换手率品种盈亏收益风险仓位资产规模债券品种偏好基金类型偏好中低风险、低风险品种：地方政府债、政策性银行金融债、国债、债券型基金、货币型产品、银行保本型理财产品及相关服务换手率高：新股、股票型基金、短期理财产品换手率低：金融债、债券型基金、固定收益产品盈利：资金规模小→跟投组合、高门槛高收益高风险的理财产品亏损：跟投组合、理财产品（亏损10%推荐）未满仓:短期理财、活期理财日平均交易额：混合型基金、债券型基金、货币基金、债券债券品种偏好：国债、固定利息率债券基金类型偏好：债券型基金、货币基金稳健型客户渴望有较高的投资收益，但又不愿承受股票换手率品种盈亏收益中风险、中低风险、低风险品种：A股股票、B股股票、AA级别信用债、地方政府债、政策性银行金融债、AA+及以上级别的信用债及相25较大的风险风险仓位资产规模债券品种偏好基金类型偏好关服务、国债、债券型基金、货币型产品、银行保本型理财产品及相关服务换手率高：新股、股票型基金、短期理财产品换手率低：股票型基金、债券型基金、固定收益产品盈利：跟投组合，小额贷款亏损：跟投组合、理财产品（亏损10%推荐）未满仓:短期理财、活期理财日平均交易额：混合型基金、债券型基金、货币基金、债券债券品种偏好：国债、固定利息率债券基金类型偏好：债券型基金、货币基金积极型客户专注于投资的长期增值。常常会为提高投资收益而采取一些行动，并愿意为此承受较大的风险股票换手率品种盈亏收益风险仓位资产规模债券品种偏好基金类型偏好中高风险、中风险、中低风险、低风险品种：退市整理期股票、港股通股票（包括沪港通下的港股通和深港通下的港股通）、股票质押式回购（融入方）、AA-级别信用债、个股期权买入开仓业务、融资融券业务及相关服务换手率高：新股、股票型基金、私募基金、换手率低：基金定投、股票型基金、债券型基金、固定收益产品盈利：跟投组合，小额贷款亏损：跟投组合、理财产品（亏损10%推荐）未满仓:短期理财、活期理财日平均交易额：混合型基金、债券型基金、货币基金、债券债券品种偏好：金融债、利息债基金类型偏好：股票型基26金、私募基金激进型客户强烈追求资金的高收益，即使冒的风险很大，也愿意追求资金高增值的可能性新股次新股策略行业选择能力持股数高风险、中高风险、中风险、中低风险、低风险品种：股票、权益型基金、高风险债券、金融衍生品等（2）忠诚指标-投资周期及投资风格表2：以“投资周期及投资风格”进行产品细分结果名称涵义重要因子投资周期可匹配产品长期固定客户忠诚度高、炒股年限较长、止损止盈能力较强股票换手率投资策略资产规模盈亏持股分散度债券品种偏好风险3年以上换手率高：债券型基金、理财产品换手率低：长期债券、封闭式基金投资策略：黄金产品、债券、基金投资能力强：模拟盘，组合跟投投资能力弱：投顾组合债券品种偏好：债券型基金、固定收益产品风险银行理财产品、国债、金融债、企业债中长期稳定客户忠诚度较高、投资时间较长股票换手率投资策略资产规模盈亏持股分散度债券品种偏好风险1～3年换手率高：新股、指数型基金换手率低：长期债券、封闭式基金投资策略：保险、股票投资能力强：模拟盘，组合跟投投资能力弱：投顾组合27债券品种偏好：债券型基金、固定收益产品风险银行理财产品、国债、金融债、企业债短期偶然客户忠诚度低、投资周期短股票换手率投资策略资产规模盈亏持股分散度债券品种偏好风险1年以下换手率高：股票、短期理财换手率低：短期债券投资策略：黄金产品、债券、基金投资能力强：模拟盘，组合跟投投资能力弱：投顾组合债券品种偏好：债券型基金、固定收益产品、浮动收益产品、固定收益产品（二）券商APP服务产品细分方法1.券商APP服务产品概况近年来，在移动互联、大数据、互联网运营等新形势下，券商逐步意识到同质化的产品未来拼的一定是服务。很多券商积极响应客户需求，陆续加大了客户服务产品的投入。我们对2016年新浪财经评选的十佳券商APP服务产品进行了调研分析，发现超过70%的券商都提供了消息中心、新股申购、业务办理、网上开户、Level2、直播、模拟组合、积分、资讯、在线客服等产品服务。30%～70%的券商提供相似K线、智能选股、智能诊股、收藏、投顾组合、投顾问答、投顾观点、猜涨跌、财经日历；少部分券商提供了特殊的服务产品，例如理财机28器人、决策工具、模拟两融、预设委托、智能投顾、投顾线上签约、财务分析等。2.券商APP服务产品分类汇总分析2016年十佳券商APP的服务产品，综合各券商APP服务产品的用途和特征，将服务产品分为工具类、投资教育类、投顾服务类、活动类、数据分析类、资讯类共六类。工具类服务产品包括消息中心、在线（智能）客服、新股申购、业务办理、网上开户、Level2、相似K线、智能选股、智能诊股、理财机器人、决策工具等。除了理财机器人、决策工具需要考虑客户的整体投资风格和风险投资能力之外，其他工具类产品都是标准化的服务产品，而在标准化产品中，在线（智能）客服、Level2、相似K线、智能选股又可以跟用户的行为因子相关联进行匹配和推荐，例如智能选股和相似K线可以跟用户的自选股相结合进行展示。投资教育类服务产品包括理财学堂、视频直播、模拟两融、预设委托、客户模拟组合等。理财学堂主要分基础类和进阶类课程，基础类主要针对入市时间不长的用户，可以设置基础技术指标、基本概念讲解，进阶类针对少量优质客户介绍可参与的业务。投顾服务类服务产品包括投顾问答、投顾观点、投顾模拟组合、投顾签约、智能投顾等。传统投顾线下服务的方式在服务范29围上受地域性局限较大，互联网的兴起为投顾服务线上化提供了很大的便捷性。综合调研结果，投顾线上服务的功能主要集中在投顾组合、投顾观点和投顾问答，针对观点和问答，绝大多数券商投顾都提供免费服务和付费服务，免费服务提供的主要是大众化可见的观点和内容，付费服务提供的是精细化高端化的体贴式服务。活动类服务产品包括积分活动、用户社区或贴吧、猜涨跌、转盘、投资沙龙等。活动类服务产品通过引入互联网玩法，通过活动提高用户参与度，从而提升客户的在线时长。同时，积分的运用也为券商跟互联网电商平台的交流、学习、互通有无提供了机会。数据分析类服务产品包括大数据、数据产品、财经日历、我的日历、账户分析等。数据分析类产品主要运用大数据挖掘和数据分析手段，形成市场公开交易信息。资讯服务类服务产品包括资讯文字新闻、资讯音频新闻等。每家券商都有独特的资讯类型和分类，主要包括头条、自选、新股、要闻、专题、研报等基础资讯和黄金、外汇、期货等特殊的资讯。六、推荐模型设计（一）模型构建思路多样化的金融产品和服务产品是否被匹配推荐给合适的用30户，不仅取决于零售客户、金融产品、服务产品多样的分类方式，同时也受到因子选取维度的影响。理论上金融产品、服务产品跟零售客户的因子不具备完全的匹配对等关系，例如债券涉及到信用度、信誉度，这两点在零售客户的因子库中并不能找到合适的对应因子，如果要处理这种匹配关系，那么就需要用特殊的映射关系来处理。但是，为了方便理解客户因子与金融产品、服务产品之间的匹配关系和对应的匹配模型，我们约定标记在金融产品、服务产品的因子均为零售客户因子库的子因子，即所有的标记在金融产品、服务产品上的因子都能在零售客户因子库中找到。以股票基金和衍生证券投资基金为例，优秀的股票基金的因子应该具有高ROE、低PE、低PB、高股息等一系列的股票因子特点，衍生证券投资基金具有高换手率、高年化收益、回撤较大的特点。这些特征在用户因子库中的投资总体风格（品种、年化收益、盈亏、最大回撤）、投资风格（股票价值、股票成长性、股票盈利性、股票PE、基金类型偏好）、投资能力（资产配置能力、行业选择能力、选股能力）等特征能找到对应的因子，因此本文选取客户因子子库描述金融产品、服务产品具有一定的合理性。通过对前文的描述，本文 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 构建基于客户因子的金融产品和服务产品推荐模型，为用户推荐合适的匹配的金融产品和服务产品。构建的思路如图1所示，即将市场用户的业绩统计、收益/风险分析、交易分析、行业/个股选择能力、行业特征、风格特31征等交易特征和行为特征分析 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 成用户因子库左侧产品；将市场上的具有竞争优势的金融产品和服务产品合并形成右端产品；中间侧即用户在适当场景的实际需求前提下，根据客户因子，为客户推荐金融产品与服务产品。图1：产品推荐模型基本思路结构图用户用户标签用户交易特征用户行为特征产品金融产品服务产品左侧中侧右侧产品推荐由于金融产品和服务产品属于不同种类的产品，因此金融产品和服务产品拥有不同的因子子库，但由于都是对指标的因子进行匹配，因此就金融产品与服务产品对于每个用户可以采取相同的匹配推荐策略。如果是新用户，相当于冷启动时期，可以设置诸如考核类产品优先推荐或者收益率高的产品优先推荐，对金融产品进行筛选和排序；对服务产品可以推荐使用诸如条件选股、线上业务办理等标准化的服务产品。如果用户为老用户，即用户因子有效，那么针对匹配金融产品和个性化服务产品，可以根据客户分类指标因子与金融产品、个性化服务产品的分类因子进行匹配，计算金融产品、个性化服务产品跟客户指标因子的匹配度，然后在金融产品和个性化服务产品中根据匹配度，选取Top-N个匹配度最高的产品进行推荐。最后，对匹配出来的金融产品和服务产品需要进行适当性检测，如果用户适当性不匹配，32则向后延伸推荐结果，最后选取符合适当性的Top-N个产品进行推荐。具体基于用户适配性的产品推荐基本模型如图2所示。图2：基于用户指标因子的产品推荐基本模型用户库金融产品库服务产品库个性化服务产品标准服务产品因子库投资总体特征交易行为特征投资风格投资能力投资策略当前持仓特征因子库（子库）用户标签与金融产品、服务产品的标签相似度适当性校验（金融、服务）产品推荐列表Top-N根据前文介绍，新用户的金融产品和服务产品规则较为简单，此处不做赘述，本部分重点研究基于老客户（因子有效）的金融产品和服务产品推荐模型。（二）适配模型构建将用户的指标因子与金融产品、个性化服务产品指标因子进行一一匹配，并通过适当性强匹配验证，根据相似度结果筛选推荐客户最可能购买的金融产品或使用的个性化服务产品。假设}{niQ,...,,...,3,2,1=代表所有的用户集合，Qi表示用户i，}{mjP,...,...,3,2,1=代表所有的金融产品或个性化服务产品（以下约定为产品）集合，pj表示产品j，表示用户i跟产品j的匹配度，()PQjif,κ表示对于指标κ用户与产品的匹配结果（φεδχβακ,,,,,=），sij表示用户i跟产品j的适当性强匹配结果，sij=0表示用户i跟产品j不能匹配，sij=1表示用户i跟产品j匹配；κw表示指标κ的权重。因此根据前文模型构建思路，针对用()PQji,F33sij户i，适配模型建立如公式6.1所示。MaxTop-N()()()()()PQPQPQPQmijiiiFFFF,,...,,,...,,,,21（6.1）()()()∑=PQsPQjiijjifwF,**,κκ（6.2）=0or1（6.3）上述模型针对用户i，计算用户i与金融产品（或服务产品）集合中每一个产品的综合匹配度，然后选取匹配结果较高的Top-N个产品进行推荐，即公式（6.1）为模型的目标函数。公式（6.2）表示用户i与产品j的匹配度具体计算方式，它是以6类产品指标κ所含的因子为基准，计算用户产品在每个因子的匹配度，然后通过各个指标权重计算用户i与产品j匹配度，最后通过适当性sij是否等于1来进行适当性校验。每个指标（投资总体特征α、交易行为特征β、投资风格χ、投资能力δ、投资策略ε、当前持仓特征φ）由因子组成，因此用户产品指标（φεδχβακ,,,,,=）的匹配度()PQjif,κ可以用每个因子的匹配度τκf（τ为κ指标下的因子）进行综合描述。根据前文约定，产品因子库是用户因子库的子集，因此计算用户与产品的因子匹配度以产品的因子为基准，在用户因子中选取相同的因子来进行匹配，通过对相同因子的匹配度计算得到平均值，从而计算用户与产品的指标匹配度，如公式（6.4）所示。()∑=τκκτffPQji1,（6.4）注：τ表示产品指标κ下有效因子数量34通常而言，指标下的因子有成本型、效益型、区间型、固定值和关键字型共五种类型，不同的类型计算匹配度τκf的方式不同。假设υτiQ为用户i对指标τ下因子υ的数值，υτjH产品j对指标τ下因子υ的数值，MaxjH_υτ和MinjH_υτ分别表示产品j在指标τ下因子υ的最大值和最小值。对于成本型因子而言，例如年化风险、最大回撤，用户对该因子的期望值肯定是越低越好，因此在计算因子匹配度时，只要产品的实际值υτjH是小于用户实际值υτiQ，则可以认为产品j与用户i在因子υ上的匹配度达到匹配上限值，否则匹配度根据产品的实际数值的增加而减少，具体计算公式如（6.5）所示。≥=υτυτυτυτυτυτυκjijMinjjiHQHHHQf＜，，/1_（6.5）对于效益型因子而言，与成本型指标恰好相反，当产品该类型的数值越大，跟用户的匹配度就越高，例如年化收益。因此在计算因子匹配度时，只要产品的实际值υτjH是大于用户实际值υτiQ，则可以认为产品j与用户i在因子υ上的匹配度达到匹配上限值，否则匹配度根据产品υτjH的实际数值的增大而增大，具体计算公式如（6.6）所示。≤=υτυτυτυτυτυτυκjiMaxjjjiHQHHHQf＞，，_/1（6.6）对于区间型因子，例如交易行为特征的股票换手率、仓位因子；投资风格的股票PE、价格、盈利能力、市值、价值等因子，35以MaxjH_υτ和MinjH_υτ分别表示产品j在指标τ下因子υ的最大值和最小值的定义，当用户在因子υ上的实际值υτiQ处于MinjH_υτ和MaxjH_υτ区间之内，则认为用户i与产品j的在因子υ上的匹配度达到最大值，而υτiQ小于MinjH_υτ或者υτiQ大于MaxjH_υτ都会影响匹配的结果，因此匹配度也要随着减少，具体计算公式如图（6.7）所示。≤≤<=MaxjiiMaxjMaxjiMinjMinjiMinjiHQQHHQHHQHQf______1υτυτυτυτυτυτυτυτυτυτυτυκ＞，，，（6.7）对于固定值因子，例如交易行为特征中的拆单习惯，整体而言与其他几类因子相比是比较简单的，该因子上的匹配非0即1，也就是说当用户在因子υ上的实际值υτiQ恰好等于产品在因子υ上的实际值υτjH时，用户i与产品j的在因子υ上的匹配度为1，否则为0，具体计算公式如（6.8）所示。≠==υτυτυτυτυκjijiHQHQf，，01（6.8）特殊指标因子，例如投资总体特征中的品种、盈利最多的股票；投资风格中的股票行业偏好、债券品种偏好、基金类型偏好；当前持仓特征中的重仓行业等因子。这些指标不容易被量化，因此需要采用关键字匹配的方式进行匹配，如果用户在因子υ上的实际关键字集合υτiQ恰好等于产品在因子υ上的实际关键字集合υτjH时，用户i与产品j的在因子υ上的匹配度达到最大值；如36果用户在因子υ上的实际关键字集合υτiQ与产品在因子υ上的实际关键字集合υτjH相交为空时，用户i与产品j的在因子υ上的匹配度为最小值；否则，需要根据υτiQ与υτjH的关键字相交个数υτυτjiHQC∩与产品在因子υ上的υτjH关键字个数υτjHC进行比较，最后得到匹配度结果，具体计算公式如（6.9）所示。≠≠∩==∩υτυτυτυτυτυτυκυτυτυτjijiHHQjiHQHQCCHQfjji，，，001（6.9）（三）指标权重计算指标权重的计算是非常重要的一环，其对于最终的推荐结果有着巨大的影响作用。考虑本文是基于证券行业金融产品和服务产品开展的研究，市场专家人士在产品指标匹配的重要性方面有着丰富的经验，因此本文结合专家咨询法和相对比较法这两种主观赋权法，来确定6类指标的权重大小。相对比较法计算各指标的具体权重：（1）将所有指标按三级比例标度两两相对比较评分，三级比例标度的含义如式（6.10）所示。=不重要时比，当同样重要时与，当重要时比当ffffffwbababaab05.0,1（6.10）显然：5.0=waa，1=+wwbaab37（2）指标wa的权重系数如式（6.11）所示。∑∑∑====manbabnbabaffw111()ma,...,2,1=（6.11）假设对于某一类金融产品或服务产品，专家的优