第03讲-分布式数据库mongo hbase及redis使用

法本课件包括：演示文稿，示例，代码，题库，和声音等，小象学院拥有完全知识的权利；只限于善意散播。任何其他人或机构不得盗版、、仿造其中的 保留一切通过法 课 咨互联网新技 互联网新技 大一个简单的分布式爬分布分布式数据库及缓完整的分布式爬互联网新技 分布式爬虫系SearchSearchMap互联网新技 互联网新技 分布式爬虫的重要解决目标地址对 频率的限 互联网新技 将多进程爬虫部署到多台主机 请GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIED'password'WITHGRANTOPTION;FLUSHf#bind-address= 连iptables-AINPUT-ieth0-ptcp-mtcp--dport3306-j互联网新技 SearchSearchMap互联网新技 互联网新技 分布式爬虫系统SearchSearchMap互联网新技 爬虫原始数 特 互联网新技 MapMapBig互联网新技 Distributed,Scalable,PortableFileWritteninNot Replication:3copiesbyDesignedforimmutableFilesarecachedandchunked,chunksize互联网新技 互联网新技 互联网新技 PythonhdfsInstallation:pipinstallreadawritetoRemoveafileordirectoryfromMoveafileorDownloadafileorfolderfromHDFSandsaveitReturnnamesoffilescontainedinaremoteCreatearemotedirectory,recursivelyifMoveafileorReturnabsolute,normalizedpath,withspecialmarkersUploadafileordirectorytoDepth-firstwalkofremote互联网新技 到fromhdfsimportfromhdfs.utilimportprint互联网新技 OntopofColumn-orientedCanstorehugesizeraw互联网新技 分布式爬虫系统SearchSearchMap互联网新技 互联网新技 SearchSearchMap互联网新技 EmbeddedPrimaryPrimaryKey(Defaultkey_idprovidedbymongodbitself)互联网新技 互联网新技 Schemaless−MongoDBis databaseinwhichoneholds s.Numberoffields,contentandsizeofcandifferfrom toStructureofasingleobjectisNocomplexDeepquery-ability.MongoDBsupportsdynamicqueries using -basedquerylanguagethat'snearlyaspowerfulEaseofscale-out−MongoDBiseasyto 互联网新技 mkdir#createdefaultdbfolder,mayneedtochangeownertocurrentusermkdir–p/data/dbnohup互联网新技 Returns thatsatisfiesthespecifiedqueryReturnsthe accordingtonaturalorder,meansinsertFindandupdatearedone{"status":”new"{$set:{”status":”downloading"}{upsert:false, :MongoClient互联网新技 数据库类Oracle,InMemoryKey-MemoryCached,Neo4j,互联网新技 RedisKEYVALUE支持复杂的对象模型（MemoryCached仅支持少量类型（MemoryCached不能序列化互联网新技 RedisEnvironment$$tarxzfredis-$cdredis-$$nohupsrc/redis-$src/redis-redis>setfoobarredis>get互联网新技 Python$sudopipinstall>>>import>>>r=redis.StrictRedis(host='localhost',port=6379,互联网新技 indexurldequeueUrlfind_one()并没有利用index，会全库扫