影片数据爬取与分析

爬取豆瓣、猫眼、淘票票等网站上《我不是药神》的信息并用PMh(m进行分析。

《我不是药神》是由文牧野执导，徐峥、王传君、周一围、谭卓、章宇、杨新鸣

等主演的喜剧电影，于2018年7月6日在中国上映。

影片在上映前，大规模的点映积攒了相当高的人气和口碑，截止7月9日凌

晨：豆瓣评分：9.0分，猫眼：9.7分，淘票票：9.5分，时光网：8.8分。

为什么我说这三个网站呢，因为我们今天近5000+条短评数据就来自于此，用

专业的数据更有说服力。

《我不是药裨》短评数据情况

06

综合几家的数据：五星推荐如此之高，生活环境是真实的，情绪是真实的，困境

也是真实的，甚至女主角是一个真实的上了年纪的美女，有真实的皱纹！真实才

能带来沉浸体验。表面说的是药，深层说的是命。

药能治病，命却不由自主，直面中国底层生命的苦难和尊严，也没有逃避对社会

制度和商业法则的拷问，这是影片锲入中国现实的关键，也是引发大众共鸣的核

心C

《芨不是为特）星级推荐.»■"■H.二■■一力

盛世危言，却让人能看到希望，这部影片极有可能成为2018年最具有爆炸性的

话题。这也许就是未播先火，豆瓣16年后首部9.0高分电影的原因。

今天我们用5000+条数据来分析一下，哪些地区，什么样的人，喜欢这部电影。

程勇只是个卖印度神油的小贩，日子过的还凑合c老爹血管瘤急着做手术，住院

没钱，妻子要带儿子移民去国外发展，靠卖印度神油挣来的钱连水电费都交不起,

处处都需要钱。

神秘男子吕受益找到程勇，让他从印度帮忙代购一款药物。吕受益患有血液癌症,

需要长期服用抗癌药物进行治疗。

正版药“瑞十格列宁”非常昂贵，普通人家根本供应不起"日在印度有一款仿制药”

印度格列宁“价格却只有1/20,但在中国是属于禁药，走私被抓，是需要负法律

责任的。

在巨大利益的驱使下，思慧，神父，黄毛先后出场，卖药五人组团建成功，他成

为一名“药贩子”。

对于病友来说，他们拥有了活下去的机会，纷纷给程勇送锦旗，自此称其为“药

神”。

代购的药出现问题，假药贩子张长林的出现威胁程勇，怕被抓,卖药组正式散伙。

程勇开了工厂，吕受益死，张长林跑路，让程勇完成第一次蜕变，许多病人无药

可吃，程勇再次去印度并重新团建卖药。

警方严打假药贩子，张长林被抓。警方发现程勇富点，黄毛为了掩护程勇而死,

让他完成第二次蜕变。

以赔本价继续代购印度药，送儿子移民，晚上卖药被警察抓。三年后出狱，外面

已是改天换地。

《我不是药神》的现实意义大于电影本身，许多人评论这部电影都有些扬眉吐气

的感觉，大家都在做一个中国电影终于敢说真话的梦。

截止7月9日凌晨，累积票房超过13个亿，占当天票房近84%。

实时票房

KSW：艺飘行客吴条号/肿」婕源

哪些地区贡献的票房更多一些?

如这张图片动态展示的情况，你会发现贡献最多的还是：北京、上海、广州，二

线城市同样成为票房的贡献者。

从画像来看，更趋于中年，油腻的中年，人人都怕老病死，人人都怕上下为难，

人人都有为谋生计不得不做的事情，人人亦都向往真与善……是这些时刻集中起

来让煽情的《药神》不那么脱离现实。

一因为将一看今耳开始终于

好片只是现在如。演技士必糕A沮点妞4

油支聂^篇嚅T黑嗯墨北产.

只看-W

需箓鼠鬻鼠感人蠡社软心比国好

满分

应该

蕨值得不中国电系眦生命

不a错t中国p不/涵现实感觉？汽我个

袤演这裨

―‘做剧俏题材徐峥非电'女自…f故事人物产

导演共很多掩来越甄点期待何颐国］鹭限王传召.冢为了

需费印度完美世界译£为神土土管电滋院以常

其实可能反应还有不能口碑

不会咫宾主3Z

从数据上来看评论:

好看，现实，好片，感人，泪点，作品很棒

哪导，我求求你，别再查“假药”了行么。这药假不假，我们这些吃的人还不知

道么？”

‘我吃了三年正版药，房子吃没了，家也吃垮了。现在好不容易有了便宜药，可

你们非说这是“假药不吃药，我们就只能等死。

《我不是药神》戳中的是每个人的痛点，谁能保证这一辈子自己和家人不生病

呢？

一旦遇上大病，动辄上万的高昂医药费让普通人家根本无力承担。一人生病，全

家拖垮，真不是危言耸听。

回归技术：分享一下我们如何获取的数据

首先是豆瓣，豆瓣自从去年10月份已经全面禁止爬取数据，仅仅放出500条

数据，豆瓣封IP,白天一分钟可以访问40次，晚上一分钟可以访问60次，

超过限制次数就会封IPo

importurllib

importrequests

fromurllibimportrequest

importtime

header={'User-Agent':'Moznia/5.0(WindowsNT10.0;Win32;x32;rv54.0)

Gecko/20100101Firefbx/54.0',

'Connection':'keep-alive)

cookies='v=3;

iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4F

F222CF03;webp=true;ci=1%2C%E5%8C%97%E4%BA%AC;

_guid=26581345.3954606544145667000.1530879049181.8303;

_lxsdk_cuid=1646f808301c8-0a4e1915421593-5d4e211f-100200-1646f808302c8;

_lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4

FF222CF03;monitor_count=1;_lxsdk_s=l6472ee89ec-de2-191-ed0%7C%7C5;

_mta=189118996.1530879050545.1530936763555.1530937843742.18,

defhlml_prase(url):

r=requests.get(url).content

returnr

cookie={}

forlineincookies.splitC;'):

name,value=cookies.stiip().split(1)

cookie[name]=value

defhlml_prase(url):

r=requests.get(url).content

returnr

foriinrange(1,100):

print。正在打印第％s页‘%i)

try:

url=

'http:〃m./mmdb/comments/movie/1200486.json?_v_=yes&offset=%s&'%

(

i*15)

print(url)

proxy=html_prase(,9:5010/get/,)..decode('utf81)#代理是自建代

理池，有需要使用代理的可以联系我，知乎ID：布道

htnil=requests.get(url=uil,cookies=cookie,headers=header,

proxies={"http":"http://|)format(proxy))).content

data=json.loads(html.dccode(,utf-8,))l，cmts'J

foritemindata:

comment=itemfeontent']

date=itemt'time'l.splitC')[0]

rate=item['score'1

city=itemf'cityName'l

img=itenit'avatariul']

print(date,rate,comment,city,)

withopen('maoyan_08.txt1,'a',encoding=*utf-8')as£

£write(date++str(rate)++comment++comment++city+'')

ifimg:

f=open('C:\UsersMyDesktopyaoshenimg\'+img.split(7')[-l]Jwb)

fwrite((urllib.request.ui-lDpen(img)).read())

except:

continue

tuw.sleep(5+float(random.randint(1,100))/20)

另外一种方式:Anyp「OKy+JS+Python+Monkeyrunner,可以爬取Web静态网站、

App应用、JS渲染数据的动态网站的数据都可以进行爬取。

中间人

»WEB/APP

安装使用，请查阅：

官方Githubt

/alibaba/anyproxy

JS代码:

varlogMap={)

varis=require(依')；

variconv=require('iconv-lite');

varlogger=fs.create\VriteStream('./urlLog.log',{

flags:'a'//'a'meansappendmg(olddatawillbepreserved)

})

lunctionlogPageFile(url){

if(!fogMap[url]){

bgMap[url]=true;

logger.write(url+'

)

)

functionpostData(post_data,path,cb){

////Buildthepoststringfromanobject

//varpost_data=JSON.stringify({

//(data':data

//})；

//Anobjectofoptionstoindicatewheretopostto

varpost_options={

host:1127.0.0.T,

port:,9999',

path:7+path,

method:'POST,

headers:{

'Content-Type':'applicatbn^son',

'Content-Length':Buflfer.byteLength(post_data)

}

I；

varhttp=requireChttp*);

//Setuptherequest

varpost_req=http.request(post_oplions,liinction(res){

res.setEncodingCutfB1);

res.onC'data',cb);

})；

bgger.write(*requestpostdata1')

//postthedata

post_rcq.writc(post_data);

k)gger.\vrite('requestpostdata2')

post_req.end();

}

module,exports={

summary:'aniletomodifyresponse',

*bcforeScndResponse(requestDctail,responseDctail){

if(/movic/1200486/i.tcst(rcqucstDctail.uil)){

logger.write('matehed:'+requestDetail.iul+'

if(responseDetail.response.loString()!=={

k)gger.\vrite(responseDetail.response.body.toString());

varpost_data=JSON.stringify({

'urf:requestDetailurl,

'body':responseDetail.response.body.toString()

})；

logger.write("postcommenttoserver--extH);

poslDala(post_data,'douban_commenl',function(chunk){

))；

}

)

1,

)；

使用AnyProxy加载JS代码：

anyproxy-i--rulewxrulc.js

Senice代码部分：

#!/usr/bin/envpython3

importasyncio

importre

importtextwrap

importthieading

importtime

importos

importpymysql

frommysqlmgrimportMysqlMgr

fromniongomgriinportMongoManager

fiomsubprocessimportcall

importrequests

fromIxmlimportetree

fiomIxmlimporthtml

fromaiohttp,webimportApplication,Response,StreamResponse,run_app

importjson

STATE.RUNNING=1

STATE_IN_TRANSACTION=2

running_state=0

run_swipe=True

last_history_time=time.clock()

#Athreadtosavedatatodatabaseinbackground

definsert_to_database(biz,msglist):

try:

formsginmsglist:

print(biz)

prim(msg「comm_msg_inId]['id'])

mongo_mgr.enqueue_data(msg['comm_msg_info'1['id'],biz,msg)

exceptExceptionase:

print(e)

defsave_data(biz,nisglist_str):

save_thrcad=threadmg.Thread(target=insert_to_database,args=(biz,msglist_str,))

save_thread.setDaemon(True)

save_thread.start()

defswipe_for_next_page():

whilerun_swipe:

time.sleep(5)

iftimc.clock()-last_history_time>120:

ifrunninog—state==—STATERUNNING:

reenter()

continue

call(["adb'\"shell","input,；''swipe","400",n1000H,"400'；'200"])

defrccntcr():

globalrunning_state

mnning_state=STATE」N_TRANSACTION

#模拟侧滑实现返回上一页

caUCCadb'1,"shelf；"input'；nswipe'；"0",M400'\"400,\"400"])

iime.sleep(2)

#点击”进入历史消息”，每个手机的位置不一样，需要单独设置X和Y

call(f"adb",•'shell","input“，‘匕p“，ZOO“，“1200”])

time.sleep(2)

heade^CUser-Agent'fMozilla/S.O(WindowsNT10.0;Win64;x64;rv54.0)

Gecko/20100101Firefbx/54.0','Connection'fkeep-alive'}

defhtnil_prase(url):

r=rcquests.get(iul,header),content

returnhtml.fiomstring(r)

asyncdefreport_url(request):

resp=StreamResponse()

data=awaitrequest.json()

url=datafurf]

#print("urlreported:"+uii)

biz=re.findallC_biz=(."?)&',url)

iflcn(biz)==0:

awaitresp.prepare(request)

returnresp

biz=biz[01

printC'+biz+'')

mysql_mgr.enqueue_bizlbiz,")

bizs.add(biz)

biz=biz.encodeCutiB')

resp.content_type=^ext/plain*

awaitresp.prepare(request)

resp.write(biz)

awaitresp.write_eof()

returnresp

asyncdefinlro(request):

txt=textwrap.dedent(""1

Type{url}/hello/John{urlj/simpleor{iul}/change_body

inbrowserurlbar

).招门13(山1='127.0.().1:8()80')

binary=txt.encode('utf8')

resp=StreamResponseO

resp.content_length=len(binary)

resp.content_type='text/plain'

awaitrcsp.prcparc(rcqucst)

resp.write(binary)

returnresp

asyncdefsimplc(rcqucst):

returnResponse(text="Simpleanswer")

asyncdefchange_body(requesl):

resp=Response()

resp.body=b"Bodychanged"

resp.content_type='text/plain*

returnresp

#coding=utf-8

asyncdefapp_douban_comment(request):

resp=StreamResponse()

data=awaitrequest.json()

globalrunning_state

globalkist_history_time

msg_data=json.bads(data[,body,])[,data,]['cts,]

foriteminms乳data:

comment=ilem['ce'].strip().replace('

rate=iteml'cr*]

print(comment,rate)

withopcn('datc_ratc_cornmcnt_sg.txt','a*,cncoding='uti^8')asfi

fwrite('2018-07-06'++str(rate)++comment+'')

kist_history_timc=timc.clock()

rcsp.contcnt_typc='tcxt/plaiiY

awaitresp.prepare(request)

awaitresp.write_eof()

returnresp

Iast_history_time=time.clock()

resp.content_type='text/plain*

awaitresp.prepare(request)

awaitresp.write_eof()

returnresp

asyncdefinit(loop):

app=Application()

app.router.add-getC/1,iniro)

app.router.add_post(7url',report_url)

app.routcr.add_post(7douban_commcnt',app_douban_commcnt)

returnapp

defstart_swipe_thread():

try:

t=threading.Thread(

targct=swipc_fbr_ncxt_pagc,narnc=*swipc')

#setdaemonsomainthreadcanexitwhenreceivesctrl-c

t.setDacmon(Truc)

t.start()

exceptException:

print(HError:unabletostartthread'')

loop=asyncio.get_event_loop()

app=loop.run_until_complete(init(loop))

run_app(app,host='l\port=9999)

这是示例代码，实际使用过程，需要进行微调。获取猫眼数据，最难是难在找猫

眼App的数据接口。

我费了很大力气才找到：

httpy/niniaoyan.coin/mnxib/comments/movie/1200486.json?_v_=yes&offcet=15'

接口怎么使用，直接看代码，获取淘票票的数据需要你自己去尝试找一下。

importjson

uTiportrandom

importurllib

iniportrequests

fromurllibimportrequest

importtime

header={*User-Agent1:'Mozilla/5.0(WindowsNT10.0;Win32;x32;rv:54.0)

Gecko/20100101Firefox/54.0;

'Connection':'keep-alive)

cookies='v=3;

iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4F

F222CF03;wcbp=truc;ci=1%2C%E5%8C%97%E4%BA%AC;

_guid=26581345.3954606544145667000.1530879()49181.8303;

_lxsdk_cuid=1646f808301c8-0a4e195421593-5d4e21IM00200-1646f808302c8;

_lxsdk=IA6E888B4A4B29BI6FBAI299108DBE9CDCB327A9713C232B36E4DB4

FF222CF03;monitor_count=1;_lxsdk_s=16472ee89ec-dc2-191-cd0%7C%7C5;

__mta=189118996.1530879050545.1530936763555.1530937843742.18'

cookie=!|

forlineincookics.split(,;'):

name,value=cookies.sti*ip().split('=\1)

cookie[nair»c]=value

defhtml_prase(url):

r=requests.get(urI).content

returnr

foriinrange(1,100):

print，正在打印第％s页‘%i)

try:

url=

'httpy/nimaoyan.com/mnidb/cominents/niovie/1200486.json?_v_=yes&offiset=%s&'

%(i*15)+'startTime=2018-07-01%2012%3A30%3A42'

print(url)

html=requests.get(url=ur1,cookies=cookie,headers=header).content

data=json.k)ads(html.decode(,utf-8'))[,cmts,J

foritemindata:

comment=iteml'content']

date=item['time'].split(,')[0]

rate=itemj'score'l

city=itemf'cityName']

ung=item[avatariu1']

print(date,rate,comment,city,)

withopcn('imoyan_08.txt,,*a',encoding=,utf-8")as

fwrite(date+'/+str(rate)++comment+comment+city+*')

ifimg:

f=openCCAUsersMyDesktopyaoshenimgV+img.sp111(7)[-1],'wb')

fwrite((urllib.requesLurlopen(img)).read())

except:

break

time.sleep(5+float(random.randint(1,1()()))/20)

动态地图展示代码：

fiompyechartsimportStyle

frompyechartsimportGeo

city=[]

withopenCmaoyan.txt',mode='r\encoding='utf-8')asf

rows=frcadlincs()

forrowinrows:

ifIcnCrow.splitC/))==5:

city.appcnd(rovv.split(*,')|4].rcplacef',**))

defall_list(aiT):

result={}

loriinset(arr):

resultfi]=arr.count(i)

returnresult

data=[]

foriteminall_list(city):

data.append((item,a11_list(city)[item]))

style=Style(

title_cok)r="#fff\

title_pos="centerH,

width=12()(),

hcight=600,

background_color='#404a59'

)

geo=Geo("《我不是药神》评论人群地理位置”，啜据来源：知乎ID：布道”,

**style.init_stylc)

attr,value=geo.cast(data)

geo.addCattr,value,visual_range=[0,100],

visual_text_color="#fff",is_legend_show=False,

symbolsize=20,is_visualmap=True,

tooltip_forniatter='{b}',

hbcl_cniphasis_tcxtsizc=15,

label_cmphasis_pos='right')

geo.render()

每天爬取数据量代码:

frompyechartsimportEftectScatter

frompyechartsimportStyle

style=Style(

title_cok)r=,'#19l970,\

title_pos=MleftH,

width=900,

height=450,

background_cobr='#F8F8FF'

)

es二EfifectScatterf《我不是药神》短评数据情况”,”数据来源:知乎ID：布道”,

**stylc.init_style)

es.add("n,[1],[270J,s}Tnbol_size=20,eflect_scalc=4,

eflecl_period=5,symbol="pirT)

es.add(nn,[2],[606],symbol_size=20,eflect_scale=4,

efifect_period=5,symbol="pin")

es.add(m,,[3],[542],symbol_size=20,eflfect_scale=4,

eflfect_perk)d=5,synibol="pin'r)

cs.add(,,H,[4],[550],syinbol_size=20,cflcct_scalc=4,

effect_pcriod=5,symbol="pin")

es.add(UH,[5],[656],ssymbol_size=20,eflect_scale=4,

eflfecl_period=5,symbol："pin")

es.add(n",[6],[850],ssymbol_size=20,efiect_scale=4,

efiect_period=5,symbol="pin")

es.add(,H,,[7],[993J,symbolsize=20,eflect_scale=4,

eflfect_period=5,symbol=,,pinn)

es.add(m,,[8],[903],symbol_size=20,efifect_scale=4,

eflfect_period=5,symbol="pin'r)

es.render()

五星推荐河流图代码：

fiompyechartsimportStyle

frompyechartsimportThemeRiver

data=[

['2018/07/08,,802,'五星]「2018/07/08',28,'四星「2018/07/08',9,'三星

「2018/07/08',8,'二星

['2018/07/08',4」一星工

[,2018/07/07,802,'ES'l,['2018/07/07；166,['2018/07/07；17,'H£

112018/07/07,0,'二星M2018/07/0718,'一星)

[,2018/07/06',667,'五星「2018/07/06',156,'四星『2018/07/06,13,'三星

['2018/07/06；10,'二星[「2018/07/06,4,'一星]

[,2018/07/05；567J五星)2018/07/05176。四星「2018/07/05',13,'三星工

[,2018/07/05；0,'二星「2018/07/05',0J一星1

[,2018/07/041,467,'五星]「2018/07/04',67。四星「2018/07/04',16J三星]

「2()18/07/04',(),'二星「2018/07/04',(),'-星

[,2018/07/03',478J五星工『2018/()7/03：56,'EM'],['2018/07/03',8,'三星]

[2018/07/0310「二星:12018/07/0310J一星]

[,2018/07/02',531,'五星工:2018/07/02167,'四星]12018/07/02,8」三星

[,2018/07/02',0,'二星「2018/07/02',0,'—星

[,2018/07/01;213,'五星「2018/07/01',45,'四星「2018/07/01',5,'三星

[-2018/07/01;1,'二星

[,2018/07/Or,1/—fil

1

style=Style(

iiUc_cok)r="#191970”，

titlc_pos="lcft",

widths1200,

height=600,

hackground_color='#F8F8FF'

)

tr=ThemeRiver("《我不是药神》星级推荐，数据来源：知乎ID：布道”,

**style.init_style)

tr.add(「五星‘，‘四星」三星「二星丁一星jdata,is_label_show=True)

tr.render()

词云图：

importpickle

fiomosuiiportpath

importjieba

importmatplollib.pyplotaspit

fromwordcloudimportWordCloucl,STOPWORDS,ImageColorGenerator

defmake_worldcloud（file_path）:

text_from_file_with_apath=open（file_path/r',encoding='UTF-8'）.read（）

wordlist_afterjieba=jieba.cut（text_from_file_with_apath,cut_aIl=False）

wl_space_split="".join（wordlist_after_jieba）

p