摘要:本篇文章探讨了大数据分析之6000+个景点数据可视化,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。
本篇文章探讨了大数据分析之6000+个景点数据可视化,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。
为了方便大家的出游选择,小编爬取了去哪儿网上面的6000多个景点数据,包含景点评级、热度、销量等等数据,汇总成这篇出游参考指南。
爬虫
爬虫继续用的是胡萝卜酱最近的心头爱selenium,用法可以参考爬虫神器selenium之猫眼电影榜单实例。打开去哪儿网站,右键,分析网页。
我们需要的数据非常的清晰:
话不多说,只要定位到自己想要的信息,那么代码非常简单。
1from tqdm import tqdm
2import time
3from selenium import webdriver
4from selenium.common.exceptions import TimeoutException, WebDriverException
5import pandas as pd
6import numpy as np
7position = ["北京","天津","上海","重庆","河北","山西","辽宁","吉林","黑龙江","江苏","浙江","安徽","福建","江西","山东","河南","湖北","湖南","广东","海南","四川","贵州","云南","陕西","甘肃","青海","台湾","内蒙古","广西","西藏","宁夏","新疆","香港","澳门"]
8
9name,level,hot,address,num=[],[],[],[],[]
10def get_one_page(key,page):
11 try:
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号