           Python django大数据运维scrapy培训 


第1章 Python3.7.4教程 
1 01-Python入门基础简介  
2 02-1-基于windows搭建开发环境  
3 02-2-基于windows-mac搭建Python环境  
4 02-3-基于Linux搭建Python环境 
5 02-4-变量定义与打印自己的信息 
6 03-1-1-Python字符串类型 
7 03-1-2-Python字符串类型内置函数 
8 03-2-Python数值类型 
9 03-3-Python列表类型 
10 03-4-Python元组-字典类型 
11 03-5-本章总结与3个基础实战 
12 04-1-算数运算符与比较运算符实践 
13 04-2-赋值运算符与逻辑运算符实践 
14 04-3-成员运算符与身份运算符与位运算实践 
15 05-0-Python流程控制简介 
16 05-1-Python流程控制IF语句与For循环实战 
17 05-2-while循环与迭代器与推导式实践 
18 06-1-Python函数与编写规范 
19 06-2-Python函数参数应用 
20 07-1-Python异常简介 
21 07-2-Python异常总结 
22 08-Python面向对象编程 
第2章 Python入门教程 13 
23 01-Python-Python简介  
24 02-Python-Python安装（windows） 
25 03-Python-Python安装（Linux） 
26 04-Python-程序执行  
27 05-Python-基本概念  
28 06-Python-Python数据类型转换  
29 07-Python-Python布尔逻辑 
30 08-1-Python-IF条件语句 
31 08-2-Python-While循环语句 
32 08-3-Python-FOR循环语句 
33 09-1-Python-函数的初识 
34 09-2-Python-函数的应用 
35 10-Python-模块使用（制作模块） 
第3章 Python进阶教程 
36 1-1-Python简介与安装  
37 1-2-windows-搭建开发环境  
38 1-3-Python编辑器与经典案例  
39 1-4-Linux-搭建实验开发环境  
40 1-5-Linux-源码编译安装python  
41 2-1-算数运算符与比较运算符  
42 2-2-赋值、逻辑、成员、身份、位运算符综合讲解与应用 
43 03-1-python数据类型-Number1 
44 03-1-Python数据类型-Number2 
45 03-2-python数据类型-String1 
46 03-3-python数据类型-String内置函数 
47 03-4-python数据类型-Tuple 
48 03-5-python数据类型-List 
49 03-6-python数据类型-Set 
50 03-7-python数据类型-Dict 
51 04-1-python输入输出注释 
52 04-2-python模块 13:40 
53 04-3-Pyhton-基础系统管理命令 
54 04-4-Python-vim文本编辑器使用 
55 04-5-Python-Xshell远程连接工具使用 
56 05-1-Python程序块与作用域 
57 05-2-Python-IF判断语句应用（一） 
58 05-3-Python-IF判断语句应用（二） 
59 05-4-Python-While循环语句应用 
60 05-5-Python-For循环语句+break+cont 
61 06-1-Python-函数简介与应用 
62 06-2-Python-函数参数应用 
63 06-3-Python-匿名函数应用 
64 07-1-Python-系统用户管理forLinux 
65 07-2-Python-进程管理forLinux 
66 07-3-Python-进程管理forlinux-2 
67 07-4-Python-文件目录管理 
68 07-5-Python-文件目录管理-2 
第4章 Python高级教程 
69 01-1-系统自动化运维应用与运维介绍  
70 01-2-Python环境搭建与psutil模块使用 
71 01-3-使用psutil模块获取CPU和MEM信息 
72 01-4-使用psutil模块获取网络、磁盘等其他信息 
73 01-5-使用psutil管理系统进程 
74 02-使用IPy模块对IP地址规划 
75 03-python异常处理 
第5章 python 
76 1-1-1-基础语法  
77 1-1-2-分支循环深浅拷贝 
78 1-2-文件操作 
79 1-3-字典和集合 
80 1-4-1-内建函数详解 
81 1-4-2-推导式 
82 1-5-1-函数基础前两节 
83 1-5-2-函数后两节 
84 1-6-1-递归 
85 1-6-2-os模块 
86 1-7-函数异常捕获 
第6章 Django教程 
87 00-Django-搭建Django开发环境  
88 01-Django-PythonWEB框架与MVC架构  
89 02-Django-Django的特点和组件  
90 03-Django-创建第一个Django项目 
91 04-Django-设计应用数据结构讲解 
92 05-Django-设计博客系统数据结构 
93 06-Django-激活blog应用并进行数据同步 
94 07-Django-启动管理后台并注册数据表 
95 08-Django-为模型在管理后台定制功能 
96 09-Django-调用Django_API使用QueryS 
97 10-Django-创建QuerySet对象管理器 
98 11-Django-构建视图与URL 
99 12-Django-创建标题模板和博客内容模板 
100 13-Django-博客应用代码问题处理思路 
第7章 Scrapy教程 
101 1.1.scrapy框架运作流程  
102 1.2.scrapy入门案例 
103 1.3.scrapy shell 
104 1.4.Item Pipeline的使用 
105 1.5.scrapy的spider类 
106 1.6.Scrapy的CrawlSpider类 
107 1.7.scrapy模拟豆瓣登录 
108 1.8.scrapy的Downloader Middlewa 
109 2.1.手机App抓包爬虫 
110 2.2.阳光热线问政平台 
111 2.3.新浪网页分类资讯爬虫 
112 2.4.将数据保存到mongodb 
113 2.5.三种scrapy策略模拟登录 
第8章 Maven教程 10 
114 00-maven教程-开课介绍  
115 01-maven教程-maven功能特点 
116 02-maven教程-maven安装配置（一） 
117 03-maven教程-maven安装配置（二） 
118 04-maven教程-maven简单实用 
119 05-Maven教程-maven坐标管理 
120 06-Maven教程-maven依赖管理 
121 07-Maven教程-maven仓库应用 
122 08-maven教程-maven生命周期 
123 09-maven教程-maven插件管理 
第9章 Hadoop教程 56 
124 1-1-1大数据简介  
125 1-1-2行业前景 
126 1-1-3hadoop入门 
127 1-1-4hadoop组件介绍 
128 1-1-5集群环境准备 
129 2-1-1hadoop源码编译 
130 2-1-2hadoop安装 
131 2-1-3伪分布式集群启动及集群操作 
132 2-1-4YARN运行MR程序 
133 2-2-1配置文件core-default（一） 
134 2-2-2配置文件core-default（二） 
135 2-2-3配置文件hdfs-site（一） 
136 2-2-4配置文件hdfs-site（二） 
137 2-2-5配置文件yarn-site 
138 2-2-6配置文件mapred-site 
139 2-3-1环境准备 
140 2-3-2集群规划 
141 2-3-3集群配置 
142 2-3-4启动集群 
143 2-3-5集群的时间同步 
144 2-4-1HDFS详解一（概述） 
145 2-4-2HDFS详解二（命令行操作） 
146 2-4-3HDFS客户端操作 
147 2-4-4HDFS之IO流操作（一） 
148 2-4-5HDFS之IO流操作（二） 
149 2-4-6HDFS之IO流操作（三） 
150 2-5-1YARN资源调度 
151 2-6-1MapReducer入门 
152 2-6-2手写WordCount程序 
153 2-6-3wordCount打包到服务器上运行 
154 2-6-4解决idea打包错误及运行找不到class 
155 2-6-5hadoop序列化与反序列化 
156 2-7-1压缩与解压缩 
157 2-7-2配置hadoop压缩方式及压缩代码实战 
158 2-7-3解压缩代码实战 
159 3-1-1MR运行流程图解 
160 3-1-2MR运行流程及job提交源码解读 
161 3-1-3FileInputFormat源码讲解 
162 3-1-4InputFormat实现类介绍 
163 3-1-5自定义InputFormat代码实战(处理小文件) 
164 3-1-6自定义InputFormat流程解读 
165 3-1-7CombineTextInputFormat 切片 
166 3-2-1partition分区（手机流量统计） 
167 3-2-2reduceTask数量与分区数关系 
168 3-3-1MR排序机制 
169 3-3-2全排序实战 
170 3-3-3部分排序实战 
171 3-3-4订单统计案例分析 
172 3-3-5订单统计代码编写 
173 3-3-6reduce阶段key的获取 
174 3-4-1Redce的并行机制与OutputFormat 
175 3-4-2日志清洗案例（自定义OutputFormat） 
176 3-4-3Join多应用（reduce端多表合并） 
177 3-4-4Join多应用（Map端多表合并） 
178 3-4-5计数器的使用 
179 3-4-6企业MR优化 
第10章 Scala教程 43 
180 01 scala的概述  
181 02 变量与常量 
182 03 条件判断 
183 04 块表达式 
184 05 for循环遍历 
185 06 函数与方法 
186 07 数组的三种创建方式 
187 08 数组遍历与数组转换 
188 09 数组常用算法 
189 10 映射 
190 11 元组 
191 12 list集合 
192 13 Set集合 
193 14 集合的遍历 
194 15 Scala类的定义 
195 16 构造器 
196 17 object关键字之单例设计模式 
197 18 伴生对象 
198 19 特殊的apply方法 
199 20 继承 
200 21 super关键字 
201 22 isInstanceOf和asInstanceOf 
202 23 getClass和classOf 
203 24 模式匹配 
204 25 protected关键字 
205 26 匿名内部类 
206 27 抽象类 
207 28 抽象字段及特质（用法一） 
208 29 特质中定义field（用法二） 
209 30 混入特质（用法三） 
210 31 特质的调用链（责任链模式） 
211 32 模板设计模式 
212 33 特质的构造机制 
213 34 trait继承class 
214 35 样例类 
215 36 Option类型 
216 37 偏函数 
217 01 高阶函数高阶函数 
218 02 隐式转换详解 
219 03 隐式转换案例一 
220 04 隐式转换案例二 
221 05 隐式转换案例三 
222 06 隐式转换案例四