数据读取 理解数据 数据清洗 数据分析
1、数据读取
#导入相关模块 import pandas as pd import numpy as np import matplotlib.pyplot as plt import re#正则解析 from wordcloud import WordCloud import warnings warnings.filterwarnings('ignore') #连接mysql import pymysql pymysql.install_as_MySQLdb() from sqlalchemy import create_engine engine=create_engine('mysql://user:password@localhost:3306/frogdata?charset=gbk') #读取数据 df=pd.read_sql_query('select * from Boss_analyst',con=engine)
2、理解数据
字段解释
position - 职位
salary_range - 薪水区间
work_year - 工作经验
city - 城市
tag1 - 技能标签1
tag2 - 技能标签2
tag3 - 技能标签3
tag4 - 技能标签4
tag5 - 技能标签5
company_name - 公司名称
text - 未知
company_type - 公司类型
company_welfare -公司福利
3、数据清洗
对表中的position、salary_range、work_year、city、text、company_welfare字段数据进行清洗
#观察数据的整体情况 df.info()
总共有4482条数据。tag4、tag5、company_walfare列的有存在空缺数据，但空缺不多，而且这三个指标不是关键性指标，所以暂不做处理
#考虑到爬取的数据可能存在重复数据，此处做去重处理 df.drop_duplicates(inplace=True) df.shape[0]
4435 存在47条重复数据
position 字段清洗
#观察position字段 df.position.unique()
发现存在异常数据，这里需要对不相关的职位进行去除
df=df.loc[df.position.str.contains('数据|分析|Data|算法|Bi|ETL')] df.shape[0]
3423 考虑数据类的岗位有数据运营、数据挖掘、商业分析师、算法工程师、ETL工程师等
salary_range字段清洗
#观察salary_range字段 df['salary_range'].unique()
数据很不规整，初步判断存在以下三种格式：'15-25K·13薪'、'15-25K'、100-150元/天 ，打算把这一列的数据拆解分为两列-最低薪水、最高薪水 def cut_word(word,types): #把数据规整为'xx-xx'格式 position1=word.find('K') position2=word.find('元') #如果没有找到该元素，find会返回值-1 if position1 != -1: salary_range=word[:position1] elif position2 != -1: salary_range=word[:position2] #拆分数据-最低薪水、最高薪水 position3= salary_range.find('-') bottom_salary= salary_range[:position3] top_salary= salary_range[position3+1:] #传入types参数，接收最低薪水、最高薪水的数据 if types == 'bottom': return bottom_salary else: return top_salary #利用apply函数进行数据转化 df['bottom_salary']=df['salary_range'].apply(cut_word,types='bottom').astype('int') df['top_salary']=df['salary_range'].apply(cut_word,types='top').astype('int')
#新增平均薪水列，方面后面做统计分析 df['avg_salary']=df.apply(lambda x : (x.bottom_salary+x.top_salary)/2,axis=1)
work_year字段清洗
work_year字段中学历数据和工作年限数据混杂在了一起，需要将其分列
学历有7种数据格式：学历不限、中专/中技、高中、大专、本科、硕士、博士
工作经验有三种数据格式：x-x年、x天/周x个月、经验不限。
def cut_word1(word,types): #找到学历不限的学字，进行切片处理 position1=word.find('学') #找到学历不限的大字，进行切片处理 position2=word.find('大') position3=word.find('本') position4=word.find('硕') position5=word.find('博') position6=word.find('高') position7=word.find('中') #通过切片把数据规整为学历和工作经验两列数据 if position1 != -1: work_year=word[:position1] educational_background=word[position1:] elif position2 != -1: work_year=word[:position2] educational_background=word[position2:] elif position3 != -1: work_year=word[:position3] educational_background=word[position3:] elif position4 != -1: work_year=word[:position4] educational_background=word[position4:] elif position5 != -1: work_year=word[:position5] educational_background=word[position5:] elif position6 != -1: work_year=word[:position6] educational_background=word[position6:] else: work_year=word[:position5-4] educational_background=word[position5-4:] #传入types参数，接收学历和工作年限的数据 if types == 'education_background': return educational_background else: return work_year #利用apply函数进行数据转化，将学历数据新添加到'education_background'列，工作经验数据新添加到'work_year'列 df['education_background']=df['work_year'].apply(cut_word1,types='education_background') df['work_year']=df['work_year'].apply(cut_word1,types='work_year')
work_year字段已清洗完毕，转化为work_year和education_background两列数据
#work_year中存在2天/周3个月之类的数据，判断是实习/兼职职位，这边把全职和实习的岗位数据区分开来 df_part_time=df.loc[df.work_year.str.contains('天|周|月')] #全职岗位 df_full_time=df.loc[~df.work_year.str.contains('天|周|月')]city字段清洗 #观察city数据 df_full_time['city'].unique()
有些值只显示城市名称，有些细分到了区，这边把数据维度统一规整到城市名称 #通过apply函数和if逻辑判断，把带有·点的数据的城市地区维度进行切片截取 df_full_time['city']=df_full_time['city'].apply(lambda x :x[:x.find('·')] if x.find('·') != -1 else x)
text字段清洗
#观察text字段 df_full_time.text.unique()
text字段包含了公司融资情况、公司类型、公司规模数据，需将其转化分列，其中公司类型已存在(company_type) 只需转化为公司融资情况和公司规模两列 清洗结果
4、数据分析
整体思路
数据类岗位整体需求
城市、学历、工作经验对薪水的影响
不同岗位对应的学历要求、薪水分布情况
公司一般会用什么福利待遇来吸引求职者
不同岗位要求的关键技能点是什么
1、数据类岗位整体需求
plt.figure(figsize=(16,6)) plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签 plt.rcParams['axes.unicode_minus']=False #用来正常显示负号 #学历 plt.subplot(2,3,1) df_full_time.education_background.value_counts().plot(kind='barh',alpha=0.7) #工作经验 plt.subplot(2,3,2) df_full_time.work_year.value_counts().plot(kind='barh',alpha=0.7) #岗位分布 plt.subplot(2,3,3) df_full_time.city.value_counts().plot(kind='pie',autopct='%.1f%%') #公司融资情况 plt.subplot(2,3,4) df_full_time.company_financing .value_counts().plot(kind='barh',alpha=0.7) #公司类别 plt.subplot(2,3,5) df_full_time.company_type.value_counts().head(6).plot(kind='barh',alpha=0.7) #薪水 plt.subplot(2,3,6) #对薪水划分层次，如18K属于15-10 bins=[0,3,5,10,15,20,30,105] level=['0-3','3-5','5-10','10-15','15-20','20-30','30+'] df_full_time['avg_salary_level']=pd.cut(df_full_time.avg_salary,bins=bins,labels=level) df_full_time.avg_salary_level.value_counts().head(6).plot(kind='pie',autopct='%.1f%%') #调整子图的间距 plt.tight_layout()
要求
分析： 学历要求：大专是最低要求，招高中或中专/中技的极少，最好是本科及以上 工作经验需求：偏向招聘有一定经验的求职者，尤其3-5年经验的需求最旺盛。一般工作3年以上，对于整个职业的了解会比较深入，技术趋于成熟，能够帮助做一些独立的项目 岗位分布情况：北上广深杭对其需求都差不多，相对来说北京机会最多，广州偏少 公司融资情况：招聘数据类岗位的一般都是达到了一定规模的大型企业 行业分布情况：互联网行业需求是最多的，包括电商、金融。还有一些乙方公司也有一定需求，比如数据服务类、咨询类 薪资情况：受工作经验影响较大，3年工作经验薪资一般集中在20-30K，比较可观
省略234
5、不同岗位要求的关键技能点是什么
#数据运营职位相关技能 list_tag1=df_full_time[df_full_time['position']=='数据运营']['tag1'].tolist() list_tag2=df_full_time[df_full_time['position']=='数据运营']['tag2'].tolist() list_tag3=df_full_time[df_full_time['position']=='数据运营']['tag3'].tolist() list_tag4=df_full_time[df_full_time['position']=='数据运营']['tag4'].tolist() list_tag5=df_full_time[df_full_time['position']=='数据运营']['tag5'].tolist() wordcloud_1=pd.Series(list_tag1+list_tag2+list_tag3+list_tag4+list_tag5).value_counts() #数据分析职位相关技能#数据挖掘职位相关技能
岗位要求
分析： 数据运营类岗位要求：基本的数据分析工具要掌握，熟悉sql,理解业务和产品，会数据挖掘和建模更好
数据分析类岗位要求：熟悉SQL、 R/Python、hive,掌握基本的数据仓库、数据挖掘、建模的知识，具备一定的业务经验
数据挖掘类岗位要求：熟悉Python/R、Spark、Linux、Hadoop、SQL，掌握机器学习算法、数据结构等
关注公众号：Python爬虫数据分析挖掘，免费获取更多开源项目源码
