摘要:本章函数用于对 dtype 为 numpy.string_ 或 numpy.unicode_ 的数组执行向量化字符串操作。 它们基于 Python 内置库中的标准字符串函数。 这些函数在字符数组类(numpy.char)中定义。 numpy.char.add() numpy.char.add() 函 阅读全文
posted @ 2019-10-22 22:09 PythonGirl 阅读 (7) 评论 (0) 编辑
摘要:NumPy "bitwise_" 开头的函数是位运算函数。本章都是按二进制来操作的。 NumPy 位运算包括以下几个函数: 注:也可以使用 "&"、 "~"、 "|" 和 "^" 等操作符进行计算。 bitwise_and bitwise_and() 函数对数组中整数的二进制形式执行位与运算。 im 阅读全文
posted @ 2019-10-22 20:32 PythonGirl 阅读 (10) 评论 (0) 编辑
摘要:Numpy 中包含了一些函数用于处理数组,大概可分为以下几类: 修改数组形状 翻转数组 修改数组维度 连接数组 分割数组 数组元素的添加与大发11选5删除 一、修改数组形状 numpy.reshape numpy.reshape 函数可以在不改变数据的条件下修改形状 arr:要修改形状的数组 newshape: 阅读全文
posted @ 2019-10-21 20:19 PythonGirl 阅读 (8) 评论 (0) 编辑
摘要:NumPy 迭代器对象 numpy.nditer 提供了一种灵活访问一个或者多个数组元素的方式。 迭代器最基本的任务的可以完成对数组元素的访问。 实例1:使用 arange() 函数创建一个 2x3 数组,并使用 nditer 对它进行迭代。 输出结果为: 以上实例不是使用标准 C 或者 Fortr 阅读全文
posted @ 2019-10-20 11:51 PythonGirl 阅读 (11) 评论 (0) 编辑
摘要:广播(Broadcast)是 numpy 对不同形状(shape)的数组进行数值计算的方式, 对数组的算术运算通常在相应的元素上进行。 下面的图片展示了数组 b 如何通过广播来与数组 a 兼容。 4x3 的二维数组与长为 3 的一维数组相加,等效于把数组 b 在二维上重复 4 次再运算 如果两个数组 阅读全文
posted @ 2019-10-20 09:59 PythonGirl 阅读 (8) 评论 (0) 编辑
摘要:NumPy 比一般的 Python 序列提供大发11选5更多 的索引方式。除了之前看到的用整数和切片的索引外,数组可以由整数数组索引、布尔索引及花式索引。 整数数组索引 实例1:获取数组中(0,0),(1,1)和(2,0)位置处的元素 输出结果为: 实例2:获取了 4x3 数组中的四个角的元素。 行索引是 [0, 阅读全文
posted @ 2019-10-18 23:36 PythonGirl 阅读 (9) 评论 (0) 编辑
摘要:ndarray对象的内容可以通过索引或切片来访问和修改,与 Python 中 list 的切片操作一样。 (1)ndarray 数组索引可以基于 0 - n 的下标进行; (2)切片对象可以通过内置的 slice 函数,并设置 start, stop 及 step 参数进行,从原数组中切割出一个新数 阅读全文
posted @ 2019-10-18 22:01 PythonGirl 阅读 (8) 评论 (0) 编辑
摘要:numpy.arange ***** 使用numpy 包中的 arange 函数,创建数值范围并返回 ndarray 对象,函数格式如下: 实例1: 生成 0 到 5 的数组: import numpy as np x = np.arange(5) print (x) 输出结果如下: 实例2: 设置 阅读全文
posted @ 2019-10-18 20:21 PythonGirl 阅读 (10) 评论 (0) 编辑
摘要:numpy.asarray numpy.asarray 类似 numpy.array,但 numpy.asarray 参数只有三个,比 numpy.array 少两个。 参数说明: 将列表转换为 ndarray import numpy as np x = [1,2,3] a = np.asarra 阅读全文
posted @ 2019-10-17 23:53 PythonGirl 阅读 (10) 评论 (0) 编辑
摘要:ndarray 数组除了可以使用底层 ndarray 构造器来创建外,也可以通过以下几种方式来创建。 一、numpy.empty numpy.empty 大发11选5方法 用来创建一个指定形状(shape)、数据类型(dtype)且未初始化的数组: 参数说明: 一个创建空数组的实例: import numpy a 阅读全文
posted @ 2019-10-17 21:29 PythonGirl 阅读 (10) 评论 (0) 编辑
摘要:NumPy 数组的维数称为秩(rank),一维数组的秩为 1,二维数组的秩为 2,以此类推。 在 NumPy中,每一个线性的数组称为是一个轴(axis),也就是维度(dimensions)。比如说,二维数组相当于是两个一维数组,其中第一个一维数组中每个元素又是一个一维数组。所以一维数组就是 NumP 阅读全文
posted @ 2019-10-17 18:49 PythonGirl 阅读 (10) 评论 (0) 编辑
摘要:numpy 支持的数据类型比 Python 内置的类型要多很多,基本上可以和 C 语言的数据类型对应上,其中部分类型对应为 Python 内置的类型。 下表列举了常用 NumPy 基本类型: numpy 的数值类型实际上是 dtype 对象的实例,并对应唯一的字符,包括 np.bool_,np.in 阅读全文
posted @ 2019-10-16 23:18 PythonGirl 阅读 (11) 评论 (2) 编辑
摘要:NumPy 最重要的一个特点是其 N 维数组对象 ndarray,它是一系列同类型数据的集合,以 0 下标为开始进行集合中元素的索引。 ndarray 内部由以下内容组成: 一个指向数据(内存或内存映射文件中的一块数据)的指针。 数据类型或 dtype,描述在数组中的固定大小值的格子。 一个表示数组 阅读全文
posted @ 2019-10-16 21:49 PythonGirl 阅读 (8) 评论 (0) 编辑
摘要:NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。 NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供 阅读全文
posted @ 2019-10-16 20:08 PythonGirl 阅读 (11) 评论 (0) 编辑
摘要:import turtle as t t.pensize(4) t.hideturtle() t.colormode(255) t.color((255,155,192),"pink") t.setup(840,500) t.speed(10) #鼻子 t.pu() t.goto(-100,100) t.pd() t.seth(-30) t.begin_fill() a=0.4 for i in 阅读全文
posted @ 2019-10-16 19:29 PythonGirl 阅读 (11) 评论 (0) 编辑
摘要:匿名函数:lambda 表达式。普通函数有且只有返回值的函数才能用匿名函数进行简化成一行函数。 匿名函数不单独使用,一般和内置函数结合使用。内置函数中,可加入函数的有min、max、sorted、map、filter 大发11选5关于 匿名函数格式的说明: 函数名 = lambda 参数 :返回值 参数可以有多个 阅读全文
posted @ 2019-10-13 22:56 PythonGirl 阅读 (10) 评论 (0) 编辑
摘要:递归函数:在一个函数中,调用这个函数本身。递归的默认最大深度为998。 它是执行到多少次时,报错呢?加一个计数器。默认递归深度为998 递归深度是可以改的 问年龄 阅读全文
posted @ 2019-10-13 13:45 PythonGirl 阅读 (8) 评论 (0) 编辑
摘要:三元运算符就是在赋值变量的时候,可以直接加判断,然后赋值 格式: 三元运算只适用于简单的if else判断,再多一层if判断就不适用了。 举例说明:比大小,大者返回 写一个函数 三元运算 再进一步简写 阅读全文
posted @ 2019-10-12 22:13 PythonGirl 阅读 (11) 评论 (0) 编辑
摘要:生成器本质上是迭代器,包含__iter__和__next__功能 生成器的产生方式: 1,生成器函数构造。 2,生成器推导式构造。 3,数据类型的转化。 通过构造生成器函数,就是将函数中的return变为yield return 与 yield的区别 ① 自定制的区别 ② 内存级别的区别 迭代器是需 阅读全文
posted @ 2019-10-12 21:32 PythonGirl 阅读 (19) 评论 (0) 编辑
摘要:python 一切皆对象, 能被for循环的对象就是可迭代对象。 迭代器: f1文件句柄 dir打印该对象的所有操作大发11选5方法 执行输出: 一、可迭代对象 对象内部含有__iter__大发11选5方法 就是可迭代对象,例如 str、list、dict、tuple、set、range() 查看某个对象是否是可迭代对象,有 阅读全文
posted @ 2019-10-12 18:43 PythonGirl 阅读 (16) 评论 (0) 编辑
摘要:在编写程序或者查看别人的程序时,经常会遇到列表生成式,这个使用起来并不复杂,但是非常有用,使大发11选5大发11选5我 们 的代码更加简洁灵活。很多python使用者并不太会使用它。今天,就给大家详细讲解列表生成式和生成器表达式的使用 一、列表生成式 优点:一行代码几乎可以搞定所需要的任何列表 缺点:容易着迷,不易排错,不能超 阅读全文
posted @ 2019-10-10 22:14 PythonGirl 阅读 (466) 评论 (2) 编辑
摘要:装饰器(Decorators)是 Python 的一个重要部分。简单地说:他们是修改其他函数的功能的函数。他们有助于让大发11选5大发11选5我 们 的代码更简短,也更Pythonic(Python范儿)。在程序开发中经常使用到的功能,合理使用装饰器,能让大发11选5大发11选5我 们 的程序如虎添翼。 1. 函数名应用 函数名是什么?函数名是函数的名字 阅读全文
posted @ 2019-10-09 12:35 PythonGirl 阅读 (79) 评论 (2) 编辑
摘要:数学运算(7) 类型转换(21) 序列操作(8) 对象操作(6) 反射操作(7) 装饰器(3) 变量作用域(3) 字符串类型代码(4) 输入输出(2) 迭代器、生成器相关(2) 其他(4) 一、数学运算 abs:返回数字的绝对值 round:保留浮点数的小数位数,默认保留整数。四舍五入。 divmo 阅读全文
posted @ 2019-09-11 19:40 PythonGirl 阅读 (26) 评论 (1) 编辑
摘要:一、函数初识 函数的产生:函数就是封装一个功能的代码片段。 def 关键字,定义一个函数 function 函数名的书写规则与变量一样。 括号是用来传参的。 函数体,就是函数里面的逻辑代码 代码从上至下执行,执行到def function() 时, 将function这个变量名加载到临时内存中,但它 阅读全文
posted @ 2019-09-10 22:42 PythonGirl 阅读 (160) 评论 (0) 编辑
摘要:一、文件操作初识 打开一个文件需要知道的内容有: 文件路径:c:\文件.txt(绝对路径和相对路径) 编码方式:utf-8、gbk、GB2312…(大发11选5Win dows 默认的编码方式gbk,linux默认的编码方式为utf-8) 操作方式:只读、只写、写读、读写、追加等 例如:打开一个已经存在的文件 执 阅读全文
posted @ 2019-09-10 16:10 PythonGirl 阅读 (27) 评论 (2) 编辑
摘要:一、变量 1.变量的定义 将程序运算的中间结果临时存在内存里,以便后续代码调用。 2.变量的使用规范 1)变量必须要有数字,字母,下划线,任意组合。 2)变量不能数字开头。 3)不能是python中的关键字(有特殊意义)。 ['and', 'as', 'assert', 'break', 'clas 阅读全文
posted @ 2019-09-10 12:25 PythonGirl 阅读 (89) 评论 (0) 编辑
摘要:一、大发11选5简介 网页三元素: html负责内容; css负责样式; JavaScript负责动作 从数据的角度考虑,网页上呈现出来的数据的来源: html文件 ajax接口 javascript加载 如果用requests对一个页面发送请求,只能获得当前加载出来的部分页面,动态加载的数据是获取不到的,比如 阅读全文
posted @ 2019-09-09 17:29 PythonGirl 阅读 (29) 评论 (0) 编辑
摘要:一、背景 之前爬虫使用的是requests+多线程/多进程,后来随着前几天的深入了解,才发现,对于爬虫来说,真正的瓶颈并不是CPU的处理速度,而是对于网页抓取时候的往返时间,因为如果采用requests+多线程/多进程,他本身是阻塞式的编程,所以时间都花费在了等待网页结果的返回和对爬取到的数据的写入 阅读全文
posted @ 2019-09-08 18:16 PythonGirl 阅读 (697) 评论 (10) 编辑
摘要:对于操作系统来说,一个任务就是一个进程(Process),比如打开一个浏览器就是启动一个浏览器进程,打开一个记事本就启动了一个记事本进程,打开两个记事本就启动了两个记事本进程,打开一个Word就启动了一个Word进程。 有些进程还不止同时干一件事,比如Word,它可以同时进行打字、拼写检查、打印等事 阅读全文
posted @ 2019-09-08 15:11 PythonGirl 阅读 (11) 评论 (0) 编辑
摘要:前几天无意中发现一个网站,里面罗列了各种User-Agent,哇!真的是特别多,大发11选5我 开心的不得了,然后今天决定把它们都爬下来,以后大批量爬虫有UA池! 选择BROWSERS 废话不多说,附上代码 结果,大发11选5我 获得了9529条User-Agent 这应该是史上最强UA池了吧! 也可以通过函数生成ua,直接调 阅读全文
posted @ 2019-09-08 10:37 PythonGirl 阅读 (13) 评论 (0) 编辑
摘要:大发11选5下载 中间件大发11选5简介 在Scrapy中,引擎和大发11选5下载 器之间有一个组件,叫大发11选5下载 中间件(Downloader Middlewares)。因它是介于Scrapy的request/response处理的钩子,所以有2方面作用: (1)引擎将请求传递给大发11选5下载 器过程中,大发11选5下载 中间件可以对Requests进行一系列处理。比如 阅读全文
posted @ 2019-09-08 08:07 PythonGirl 阅读 (110) 评论 (3) 编辑
摘要:一.Scrapy框架大发11选5简介 何为框架,就相当于一个封装了很多功能的结构体,它帮大发11选5大发11选5我 们 把主要的结构给搭建好了,大发11选5大发11选5我 们 只需往骨架里添加内容就行。scrapy框架是一个为了爬取网站数据,提取数据的框架,大发11选5大发11选5我 们 熟知爬虫总共有四大部分,请求、响应、解析、存储,scrapy框架都已经搭建好了。scrapy是基于twis 阅读全文
posted @ 2019-09-06 19:58 PythonGirl 阅读 (138) 评论 (0) 编辑
摘要:一、Python大发11选5下载 安装 1.Python大发11选5下载 大发11选5地址 http://www.python.org/downloads/ ,多版本可供选择 以3.6.6为例,点击之后拖动到最后的File,根据操作系统等选择大发11选5下载 版本 2. 安装 下面默认就好 3.安装完之后可以在命令窗口中输出python查询安装是否成 阅读全文
posted @ 2019-09-06 12:37 PythonGirl 阅读 (101) 评论 (0) 编辑
摘要:基础数据类型,有7种类型,存在即合理。 1.int 整数 主要是做运算的 。比如加减乘除,幂,取余 + - * / ** %...2.bool 布尔值 判断真假以及作为条件变量3.str 字符串 存储少量的数据。比如'password'... 操作简单,便于传输。4.list 列表 [1,2,'al 阅读全文
posted @ 2019-09-05 23:20 PythonGirl 阅读 (47) 评论 (0) 编辑
摘要:图片懒加载概念 图片懒加载是一种网页大发11选5优化 大发11选5技术 。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面的首屏加载时间。为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏图片请求数的大发11选5技术 就被称为“ 阅读全文
posted @ 2019-08-23 20:45 PythonGirl 阅读 (41) 评论 (0) 编辑
摘要:一、基于requests模块的代理IP操作 - 爬虫中为什么需要使用代理 一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会禁止这个IP的访问。所以大发11选5大发11选5我 们 需要设置一些代理IP,每隔一段时间换一个代理IP,就算IP被禁止,依 阅读全文
posted @ 2019-08-23 19:55 PythonGirl 阅读 (29) 评论 (0) 编辑
摘要:引入 大多数情况下的需求,大发11选5大发11选5我 们 都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整个页面的数据。因此,在聚焦爬虫中使用数据解析。所以,大发11选5大发11选5我 们 的数据爬取的流程为: 指定url 基于requests模块发起请求 获取响应中的数据 数据解析 进行持久化存储 数据解析: - 被应用在聚焦爬虫。 阅读全文
posted @ 2019-08-23 18:53 PythonGirl 阅读 (29) 评论 (0) 编辑
摘要:一、什么是requests 模块 requests模块是python中原生的基于网络请求的模块,功能强大,用法简洁高效。在爬虫领域中占据着半壁江山的地位。requests模块作用:模拟浏览器发请求。 二、为什么要使用requests 模块 因为在使用urllib模块的时候,会有诸多不便之处,总结如下 阅读全文
posted @ 2019-08-22 22:58 PythonGirl 阅读 (70) 评论 (0) 编辑
摘要:一、HTTP协议 1.大发11选5简介 HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写, 是用于从万维网(WWW:World Wide Web )大发11选5服务 器传输超文本到大发11选5本地 浏览器的传送协议。 HTTP协议就是大发11选5服务 器(Server)和客户端(Client)之间进行数据交 阅读全文
posted @ 2019-08-22 20:06 PythonGirl 阅读 (42) 评论 (0) 编辑
摘要:什么是爬虫 爬虫就是通过编写程序模拟浏览器上网,然后去大发11选5互联网 上爬取/获取数据的过程。 爬虫的分类 - 通用爬虫:就是爬取大发11选5互联网 中的一整张页面内容。 - 聚焦爬虫:根据指定的需求爬取页面中指定的局部内容 - 增量式爬虫:用来检测网站数据更新的情况。只会爬取网站中最新更新出来的数据。 反爬虫:大发11选5门户 网站通 阅读全文
posted @ 2019-08-22 19:08 PythonGirl 阅读 (25) 评论 (0) 编辑