《商业分析概论》商业信息采集

商业分析概论商业信息采集主要内容商业信息源商业信息采集方法商业信息常用采集途径商业信息新兴采集工具3.1商业信息源企业内部商业信息类型生产技术营销财务人事运营管理企业外部商业信息类型供应商/制造商物流客户竞争……广泛的数据源，如：互联网数据（即，点击流，社交媒体，社交网络链接）一手研究（即调查，实验，观察）二手研究（即竞争和市场数据，行业报告，用户数据，业务数据位置数据（即移动设备的数据，地理空间数据）图像数据（即视频，卫星图像，监控）供应链数据（即电子数据交换，供应商目录和价格，质量信息）

设备数据（即传感器，PLC，射频器件，LIM，遥感）3.2商业数据获取与采集商业数据来源社交网络企业信息系统泛互联网商业信息来源外部商业信息线上专利数据库上市公司数据库搜索引擎Web2.0和社交网络论文、报刊数据库企业网站行业网站政府网站政府出版物行业展会线下人际网络人际网络会议逆向工程线下内部商业信息各种内部信息系统电子邮件线上即时通讯工具记录内部的网络社区各类电子表格和报表3.2商业信息采集和存储方法采集调研爬虫购买。。。存储数据库数据仓库思考对于电子商务网站来说，需要关注哪些客户信息？这些客户信息来源于哪里？客户信息客户行为数据客户基本信息客户的订单记录信息客户对产品的评价信息社交媒体数据电商用户行为数据来源服务器日志主要涉及客户的访问日志以及客户的引用日志两个主要部分。访问日志。访问日志记录了客户在购物过程中访问了哪些网站、执行了哪些操作或者命令。这些信息或者数据通常被记录并且完好地存储在日志下含的一个子文件夹里面。通过对客户访问日志的解读，我们可以清晰地了解客户曾经的浏览记录与购物经历。引用日志。引用日志通常记录了以下信息，譬如，客户究竟是从什么位置登录并且访问网站的？该访问网站的链接或者路径又是怎样的？。这些工作往往可以通过URL，即统一资源定位器进行实现。

电商用户行为数据来源服务器日志Web日志内容:

CookieCookie是用户在浏览网站时留在用户浏览器里的信息。Cookie会记录下用户访问的站点。当用户再次访问该站点时，Cookie就能知道用户的身份或者偏好究竟如何。尽管人们普遍认为Cookie的使用，存在将个人隐私或者数据外泄的可能性，并引发了范围较大的辩论，但是毋庸置疑的是，通过Cookie存储的客户数据和信息分析，电商网站可以针对性地为客户提供个性化所需的产品或者服务，真正做到“知彼知己”。

电商用户行为数据来源表单或用户注册数据Web站点可以获取客户在首次访问网站时注册所填写的个人信息，譬如年龄、身份、出生时间、性别、地址等，从而能够有效对碎片化的客户进行聚众或者整合，更详细地了解客户的类型与需求等偏好，方便制定或者发布相关促销活动的信息。除了电商网站企业通过自己web站点获取的有关客户个人隐私以及购物偏好的信息之外，电商还可以通过与市场上的数据信息中心或者数据咨询公司进行战略合作，以购买、租赁或者共享等方式从他们那获取电商企业所需的其他有关客户购物的信息，从而在一个更大的范围内分析客户信息、划分客户类型与识别客户行为特征。电商用户行为数据来源网络爬虫进行web信息采集WEB采集活动中需要重点考虑网站自身的防屏蔽问题，因为只要长时间频繁访问同一个网站，且这个网站设有相关预案，就会遇到受限访问或拒绝访问等问题。常见的防屏蔽策略分时访问采集：指的是在目标网站的可容忍范围之内对其进行访问和采集，但这一范围往往需要进行多次高频度的模拟访问来测算。依据测算到的网站容忍访问时间，针对待采集的网站设定采集时间周期及频次，并开启分时、分块的多次采集任务，直至完成对目标网站的采集任务网络爬虫进行web信息采集常见的防屏蔽策略定时更换IP地址:这主要源于多数大型网站会对特定时间区间内频繁访问的主机IP地址进行主动屏蔽、拒绝服务。毕竟，上述访问行为显然超出了合理的人工浏览访问频度。不过，我们可以主动检测当前IP地址被目标主机的屏蔽状态，且当遇到屏蔽时立即更换IP地址以确保持续访问与采集活动的正常运行。模拟浏览器登录：当前很多类型的网站如微博、博客、论坛等，需要访问者事先通过身份验证才允许继续访问明细信息。我们可以借助模拟浏览器技术向目标网站提交用户名和密码的方式，完成身份验证，继而满足采集需要。案例：海尔智能家居馨厨冰箱是一款三开门风冷冰箱产品，总容积为251升（冷藏室152升+冷冻室64升+变温室35升），每24小时额定耗电量为0.76千瓦时。馨厨冰箱拥有日本murata提供的热释电传感器，能够在用户靠近和动作时进行相应的交互。馨厨冰箱具备一块支持多指触控的10.1英寸TFT触摸屏（1280×800像素），屏幕中的界面整合了冰箱全部的智能功能。通过操作屏幕，用户可以在这里观看电影（视频资源与爱奇艺合作），或聆听蜻蜓FM。另外，用户可以在系统中搜索很多菜品的制作过程，而在日常运行中，系统能够记录用户放入的食材种类，并在系统认为即将过保质期的时候进行提醒。在输入之外，用户也可以选择通过语音识别来进行操作和搜索。馨厨冰箱也有对应的手机Apple，用户安装App后可以实现远程控制冰箱温度等功能。案例：海尔智能家居案例：海尔智能家居3.3商业信息采集方法：抽样调研抽样条件总体是不可观察的总体尽管是可以观察的，但详细地、全面地观察总体的成本与研究结论所具有的价值相比显得过高。抽样方法随机抽样非随机抽样简单随机抽样等距抽样分层抽样方便抽样整群抽样多级抽样判断抽样配额抽样滚雪球抽样3.3商业信息采集方法：抽样调研抽样方法简单随机抽样（simplerandomsampling）。简单随机抽样是指总体中的每一个单位都有完成相同的机会被抽取为样本。简单随机抽样被认为是科学抽样方法的基础。等距抽样(systematicsampling)。等距抽样是指在总体中依照一定顺序、按相等间隔，有系统地抽取样本。等距抽样是简单随机抽样的变种，它比简单随机抽样更加简便可行。但研究者在抽样时要注意样本的随机性问题。。分层抽样（stratifiedsampling）。分层抽样又称类型抽样，其做法是先对总体各单位按主要标志进行分类，然后再从各类型组中按随机原则抽出一定单位构成样本。类型抽样可以分为以下三种：1）比例分层抽样2）适当配置抽样3）非比例分层抽样。3.3商业信息采集方法：抽样调研抽样方法整群抽样（clustersampling）。整群抽样是先将样本按照某一特征划分为若干群，然后随机地挑选某些群，将这个群中的所有单位作为样本。整群抽样被广泛采用。整群抽样时若能找到一些与变量无关的特征作为划分和挑选群的依据，也能够达到较好的随机性。分层抽样与整群抽样类似的地方:都是将总体划分成若干个互斥的群，然后采用随机抽样技术抽取所需样本。区别：分层抽样用于群体间元素差异较大，群内元素差异较小的抽样中。整群抽样适用于群内元素差异较大，但群体间元素差异较小的抽样。多阶段随机抽样。如果样本对象呈现金字塔型结构，为了减轻抽样工作量，可以采取自上而下逐级随机抽样的方法，也即多阶段随机抽样。数据流信息案例1：电子商务数据数据流信息（略）案例1：电子商务数据社交媒体：包括微博、微信、博客、社交网站、论坛、播客等数据规模大用户产生数据实时传播反映了社交网络文本化非结构化案例2：社交媒体数据3.4商业信息的新兴采集工具GoogleTrend,GoogleAdwords工具GoogleTrend是谷歌公司推出对某一主题词搜索量统计趋势变化的工具。谷歌趋势有两个功能，一是查看关键词在Google的搜索次数及变化趋势，二是查看网站流量（GoogleTrendsforwebsites）。google趋势中某关键词的关注度时间变化图3.4商业信息的新兴采集工具google趋势中某关键词的地域关注差异图

google趋势中相关主题与搜索行为图3.4商业信息的新兴采集工具Google关键词工具(Google

Adwords

Tool)可以帮企业进行关键词推荐以及帮你了解不同关键词的搜索量，包括本地的搜索量和全球搜索量。Google

关键字工具主要用途：分析关键词的热度；寻找最合适的关键词；

寻