南开21春学期《网络爬虫与信息提取》在线作业-2100分

admin

资料来源：谋学网（www.mouxue.com）-[南开大学]21春学期（1709、1803、1809、1903、1909、2003、2009、2103）《网络爬虫与信息提取》在线作业
0 v5 Q; Y4 Y; J' l! {9 Q试卷总分:100    得分:100
第1题,下列说法错误的是()
) S6 d! i1 z# Q1 jA、小程序的请求极其简单，基本上没有验证信息
0 F. z8 Q4 f# v$ t/ L2 z5 U& DB、用Python来请求小程序的后台接口从而获取数据，比请求异步加载网页的后台接口要复杂很多。
C、如果目标网站有微信小程序，那么一定要优先调查能否通过小程序的接口来抓取数据。
, F$ a5 M, V* D( F  ~5 K# ?D、小程序的反爬虫能力比网页版的低很多。使用小程序的接口来爬数据，能极大提高爬虫的开发效率。
正确资料:


第2题,()是一个传递信息的通道。它负责将爬取博文列表页获取到的信息传递给负责爬取正文页的方法中。
A、meta
B、head
; S; S& i& |3 b7 N% uC、header
D、body
正确资料:


8 I: F- [/ P  n% B' S+ K& m2 P第3题,启动MongoDB使用命令mongod --() usr/local/etc/mongod.conf
5 b$ H4 W0 p% b. v( o& gA、config
B、install
C、start
$ Y  Z' s: J" TD、begin
正确资料:
% W' r4 W+ J: P- _1 d1 {/ u

第4题,HTTP常用状态码表明服务器不允许访问那个资源的是()
A、500
B、503
( U6 S# i$ r" A3 x5 WC、403
5 q' q3 s  P& h6 r5 ^6 ^D、405
正确资料:

7 z( |! [1 v* t; {+ |
资料来源：谋学网（www.mouxue.com）,Python正则表达式模块的findall方法如果没有匹配到结果,则返回结果为()
A、空
/ E* `. F' e, {! c% N/ nB、空列表
C、空元组
D、不返回
正确资料:

  m3 t8 _' l8 F  F' l4 r
第6题,Scrapy中使用Xpath获得的结果调用了.extract方法,结果以()形式生成
A、列表
2 E1 N7 ~! o7 J$ DB、元组
, Q- R# J' Y& v3 V7 ^: m0 EC、字典
D、集合
8 R& |( u4 q0 J( @正确资料:


第7题,在Scrapy的目录下,哪个文件负责数据抓取以后的处理工作?()
' @5 k) ~, k5 m2 D' `6 q" j8 LA、spiders文件夹
8 v( l! R2 u$ B: mB、item.py
* A; t! i& z6 YC、pipeline.py
D、settings.py
: u8 f) E' p$ \3 E2 i% R* [正确资料:


第8题,Python在Windows路径字符串左引号的左边加()符号来避免反斜杠问题
A、s
/ o4 i" W/ ]" H4 ~! I" _# C: T  Z5 tB、c
C、d
D、r
% Y) x1 x3 H' k4 y9 C正确资料:
* y+ F+ S' {" F0 [' N
( t6 m7 n' c) C+ b8 l0 P3 _
第9题,python中可以用来将图片中的文字转换为文本的第三方类库是
A、lxml
B、requests
/ z: p9 p0 p* L$ BC、beautifulsoup
0 S+ u* w- z2 a% gD、pytesseract
正确资料:

2 g7 [( c- ]0 E( L" }( Z% _
5 |4 m7 K# Z$ w/ o5 ]' |9 b资料来源：谋学网（www.mouxue.com）,在Linux中哪个命令是添加权限的()
A、chmod
B、sudo
C、cp
D、mkdir
* J* Z# V  G: M正确资料:
8 }3 K. {; b6 T8 y1 p9 A
& A( \6 ], J4 e+ S* i; s7 [
4 k( _8 o- x* P$ Z0 g第11题,使用python定制mitmproxy,下面的语句请求的是()。{req.headers["User-Agent"]}
4 o$ `; q1 [; V& P  w; z5 uA、headers
. A1 {) ~( w- p# R8 h( H$ jB、文本内容
C、目标网站
( F4 ~% z) s5 ]  s" i( h9 G+ gD、user-agent
& }  E# q6 O+ X; |; H正确资料:
( e" {0 s( i3 L  N% H3 Y

资料来源：谋学网（www.mouxue.com）,PyMongo中逻辑查询表示小于等于的符号是()
A、$gt
/ s! K6 t, D3 C2 \6 ]8 YB、$lt
C、$gte$$lte
: J3 Q- u6 Y6 q7 @5 p2 W. `正确资料:

2 Y8 k) i; d' B$ T0 g' I* H/ j
第13题,Python中若定义object=[1, 2, 3, 4, 5],则print(object[-4])输出()
! q2 f; {0 t! bA、NULL
5 j+ Y2 g; e0 ?$ b( y( N+ p8 e! U5 b! eB、2
C、4
0 h2 ~& @6 v8 U' [3 wD、程序报错
4 m, Z! d1 _5 J# M  G正确资料:

$ c# j" n$ b* B( [+ p" y% o. |
第14题,Python中Object={'obj_1':'1','obj_2':'2'},则Objcet.get('boj_3','3')是()
A、1
B、2
C、3
D、无输出
7 r6 V; i0 V# y5 g, S/ I正确资料:


6 I7 B! Y+ M3 o- e资料来源：谋学网（www.mouxue.com）,PyMongo中的查找方法的参数是哪种数据结构()
- g: j  {" N( [+ HA、列表
8 Z; v5 Z1 u! f" m+ R- C$ tB、元组
0 |* s- O/ }5 k6 O6 ]9 p; s% q. P3 P6 nC、字典
D、集合
正确资料:
" {7 P2 B- C* _+ G9 b

( {* ?: I0 f  J' C; @3 A第16题,Python正则表达式模块的findall方法提取内容包含多个,则返回结果的列表中会包含()
A、列表
B、元组
. ?2 R$ r  c5 sC、字典
D、集合
正确资料:
7 w3 j5 N0 e( i% H# s; S: V

第17题,Redis是一个开源的使用()语言编写
A、ANSI C
% C! o% ?' j2 f3 FB、C++
C、JAVA
2 Y& h# E% K, p* i. ?/ QD、Python
正确资料:
" C( D+ F9 }: m5 r9 T# h5 P
! O2 t% C" _, B0 m( G
第18题,下面关于Charles使用说法错误的是()
A、在数据包非常多的情况下，使用Charles的过滤功能来对数据包进行过滤从而减少干扰。
9 h$ b3 q2 z/ j1 u  s) d% `B、通过单击图中方框框住的各个选项卡，可以非常直观地观察到请求和返回的各种信息。
C、如果浏览器是Chrome，在没有安装第三方代理插件的情况下，Chrome的HTTP流量都会经过Charles。
2 [+ Y: A* Z# n2 |D、Charles无法支持计算机上除了浏览器之外的其他软件。
% x, ]) D- H& E3 X4 p, N正确资料:
& s$ u9 |8 X: u$ x

第19题,以下哪个命令是利用URL语法在命令行下工作的文件传输工具()
A、curl
B、tar -zxvf
C、mkdir
D、cp
- F7 t3 S4 y5 k) I2 X; K* T, F+ R正确资料:
; a( s; ^) z4 n: d5 {/ A2 n

资料来源：谋学网（www.mouxue.com）,Python中Object=[1, 2, 3, 4, 5],则Objcet是()
. w, z% ^2 |0 t; p9 X' `A、列表
  `1 `. c! k* i( f* zB、元组
C、字典
D、集合
正确资料:
6 ~# J& c. q& W' t5 Z- b8 p4 T) S7 {
0 ?/ b& b7 v9 r2 n" g/ P1 O/ A
第21题,下列关于mitmproxy的使用说法正确的是()
A、mitmproxy的端口为8080端口。
B、设置好代理以后，在手机上打开一个App或者打开一个网页，可以看到mitmproxy上面有数据滚动。
1 K: U: D. T. l1 `C、用鼠标在终端窗口上单击其中的任意一个请求，可以显示这个数据包的详情信息。
D、如果要访问HTTPS网站，还需要安装mitmproxy的证书
正确资料:,B,C,D

3 ~! t# J& D0 r, z' d) H+ \2 f
4 p7 M8 c# W  O. q; n! y$ z/ H0 Y3 S第22题,cookies的缺点是
A、实现自动登录
B、跟踪用户状态
C、http中明文传输
% Y6 k! `, o6 O. A6 G4 g7 CD、增加http请求的流量
5 `9 s4 r( U1 r: e正确资料:,D
0 h* T/ H4 d( ]. j

/ |, \3 ?% R  Y+ x' \) @% ]第23题,以下哪些可以独立成为Python编译器()
A、Pycharm
5 ^" C; y  J. [7 VB、IDLE
C、Eclipse
- i& e0 w" v% I: O" zD、Visual Studio 2010
% W% d. n" v( A# C1 D( L正确资料:,B

# i8 i$ m/ K$ A6 N7 K, F( v/ E
第24题,Python中()容器有推导式
; L+ v$ ?# x1 s( gA、列表
B、元组
C、字典
- e$ Q9 F4 o9 ]# {D、集合
. v/ D# b  D1 n% |* P! b+ i( X4 S正确资料:,C,D
. Z0 K' S4 a' s+ A& {. ^

资料来源：谋学网（www.mouxue.com）,使用Selennium获取网页中元素的方法有
A、find_element_by_name
B、find_element_by_id
C、find_elements_by_name
2 D4 v- ~3 W% x, f, [D、find_elements_by_id
: O/ N9 C+ i) v( R; F正确资料:,B,C,D
" @8 s+ I$ ], v( V* K
' g# `& U/ R- g" f0 x5 U+ G+ c
* ]6 M5 w0 j  S6 {: A% I  }: M1 t第26题,Python中一个函数没有返回值则可以写()
A、没有return
  C( i" Q! J8 X" YB、return
C、return None
D、return NULL
  D  A# q% ?  O1 X- }正确资料:,B,C
2 X( @( a: a5 A& u( S, K
' h4 D: U! ?/ w9 W6 d1 p
2 C1 ^' u! ]' j1 p. N) o第27题,Python中一个函数可以有()个return语句
A、0
( y% X8 f! Y( \$ ~6 r& v" Q# EB、1
C、多个
D、2
正确资料:,B,C,D


9 `8 Y: R* f- Y$ o5 H第28题,以下哪些方法属于Python写CSV文件的方法()
: i8 Y" w& N8 s" f5 @A、writeheaders
. ]% o  m3 m% uB、writeheader
C、writerrows
/ R8 }- @. W. b$ N- J. P9 ?; F: I/ jD、writerow
$ }# Z& Z" ?# \正确资料:,C,D
, ~5 d1 K- e. e" o
" i& d2 v- f  ?1 v
, Q5 l4 J: A) S2 P" }第29题,Python中通过Key来从字典object中读取对应的Value的方法有()
% y4 R2 W1 P/ M) @! kA、object[key]
B、object.get(key)
" D/ d8 W: h+ s: e! eC、object.pop(key)
2 }. t+ o$ }" cD、object.pop()
& w, K/ E9 E$ \* C7 R9 I- R正确资料:,B
" t9 \5 j6 x2 U6 u# [
, b% v, r8 N, V0 m
5 X% B1 q7 z( s7 H+ v( l# T2 r7 E+ I资料来源：谋学网（www.mouxue.com）,BS4可以用来从()中提取数据
9 p0 u# k! n4 n: wA、HTML
B、XML
( }' d+ V# g8 w; k/ A& [$ ~C、数据库
4 T- J: B- b! {1 ?0 e8 `1 W4 ~D、JSON
4 ^) w# ^: o7 L. D正确资料:,B

; U# Z# }$ ^2 N/ Z! k7 k6 ?( v
0 m2 a, }8 P; p2 V9 M第31题,scrapy与selenium结合可以实现直接处理需要异步加载的页面
+ G  c: O7 q. F4 vT、对
F、错
更多资料下载：谋学网（www.mouxue.com）


0 Y0 `# H; b' x2 u! t3 i, x第32题,使用UI Automatorr让屏幕向右滚动的操作是得到相应控件后使用命令scroll.horiz.forward()
T、对
F、错
; E9 ?. q1 P0 e9 i正确资料:F
  V! ^# A" Z$ M. a- u
9 b/ f: M0 I* e
- m8 d" P% e# j# x' X/ [+ p第33题,Python可以将列表或字典转换成Json字符串
T、对
- ^3 S$ }/ x* t9 d0 h2 _% ]! ZF、错
" G2 a, L- H; }* @1 I9 i更多资料下载：谋学网（www.mouxue.com）
, D: P/ R+ [' ]" ~& T, e- z7 ]
1 ?# q6 w+ a4 P
  A% }4 g- P. M% J0 H8 c  j第34题,Python中列表生成以后还可以往里面继续添加数据,也可以从里面删除数据;
T、对
' ]  I8 S2 l; n% A4 ~F、错
0 h/ l( C; U& l( M更多资料下载：谋学网（www.mouxue.com）
/ T  `- q. r- I( a

第35题,cookies在http请求中是明文传输的。
0 n$ A) |! j8 CT、对
) i  T8 Z, q3 ~$ zF、错
7 z/ M$ e) d0 W) F3 n$ m4 f- n更多资料下载：谋学网（www.mouxue.com）
7 t- j# Q' N  Q4 c) o6 a5 f$ _) X2 @+ h
. z9 {1 `( v7 _8 X! V
, E$ U: V; j& _  @, q. ^) z; @0 z# T第36题,Python中条件语句在使用or连接的多个表达式中,只要有一个表达式为真,那么后面的表达式就不会执行。
T、对
' w9 [* \" z8 e/ E, q& ]0 a& LF、错
3 Y: F2 a1 O2 |; N/ F+ U2 w更多资料下载：谋学网（www.mouxue.com）
2 C& D9 |9 \7 E8 Z/ W9 Y5 y. ~
* j3 k. A, W$ _) f
" b1 t) ]# l7 l1 e0 Q0 z第37题,在安装Scarpy的依赖库时,由于Visual C++ Build Tools的安装速度很慢,为了节省时间,可以和安装Twisted同时进行
% O' g! u* h) B/ ^( y0 z* uT、对
F、错
! m( ]1 l/ j# U; r- p* p正确资料:F
9 |' \3 Q7 M, ]/ x( H

$ A  l8 p7 f* @2 ~2 K第38题,HTTP状态码503表示服务器内部故障。
T、对
3 \9 H* c7 ~( d; S# [1 WF、错
8 H5 R: A/ X. q/ h, v, N正确资料:
& @$ i) c9 M" V
9 J  s/ e' ~! N& Z: c$ o
第39题,在有spiders何setting.py这两项的情况下,可以写出爬虫并且保存数据,items.py和pipelines.py文件是原作者的失误而导致的冗余文件。
1 r6 ?' y* c9 @( ~5 ~" T2 _3 xT、对
+ f& l$ `& E" g$ f6 SF、错
正确资料:


- N( c1 v1 C$ R第40题,在Windows中下若要运行Redis可以运行redis-server /usr/local/etc/redis.conf
T、对
F、错
正确资料:F

- T) ~# z$ t1 ^, D* B# u; a
第41题,Scrapyd可以同时管理多个Scrapy工程里面的多个爬虫的多个版本
T、对
$ D) ~6 k) u' ~' o7 YF、错
更多资料下载：谋学网（www.mouxue.com）


- O4 I7 t7 r  n8 J7 M7 u1 A第42题,安装mitmdump之前,运行sudo apt-get install python3-dev python3-pip libffi-dev libssl-dev是为了安装必要的运行环境。
/ R2 P$ Q/ d8 U0 I8 FT、对
' H# z  N# X( \1 b, yF、错
正确资料:
! k& J4 d) b2 ^$ Q
3 `2 j" d3 [/ ?: {+ y5 a
1 D0 a$ _: ]' D, ^* y- M: x  `第43题,PyMongoDB中排序方法sort第二个参数1表示降序
/ n) H, B0 h" i" M1 ^* T$ |! E$ y) _T、对
F、错
正确资料:F
. [9 m/ R& J- o' v- X7 B
# i  H8 W4 n& q2 m1 K
第44题,charles配置中,安装完成证书以后,在设置中打开"关于本机",找到最下面的"证书信任设置",并在里面启动对Charles证书的完全信任。
  ^- }' P% N0 wT、对
) M9 O& s  n  l3 N: qF、错
* l+ D' ^2 V9 A更多资料下载：谋学网（www.mouxue.com）


* s7 H2 G4 ?8 j# Z第45题,为了保证数据插入效率,在内存允许的情况下,应该一次性把数据读入内存,尽量减少对MongoDB的读取操作。
T、对
, h, Q$ d1 z" wF、错
, R& {- o6 g) c  w% a7 i正确资料:
+ d6 {" n5 K' H2 c

1 e, s9 G# V' m* `" M4 f9 z, k第46题,Redis的列表是一个单向队列
T、对
1 X5 n0 E5 b7 }6 m* ]2 RF、错
正确资料:

3 P: N5 T9 A; s: t
2 T& J- x3 i7 e* A0 T; y! C% d第47题,数据抓包就是中间人爬虫的一个简单应用。所以使用Charles也是一种中间人攻击
6 |, f' g2 ?; J; J& iT、对
) l. e6 f5 Y7 l9 f% N) u" ]F、错
更多资料下载：谋学网（www.mouxue.com）

; F: t8 L) p2 ^2 U
第48题,如果把网络上发送与接收的数据包理解为快递包裹,那么在快递运输的过程中取出查看更改里面的内容,就是类似抓包的过程
* Z2 G1 p: H: NT、对
F、错
正确资料:F
* Q) V' `' ]6 Z: C

* D+ I1 m: q- |, s' b, m( _4 C' f/ r第49题,MongoDB 是一个基于分布式文件存储的数据库，，速度远快过Redis
A、对
B、错
. u# `3 G8 \  h2 V3 K正确资料:
% E' Z( g1 d+ C6 x
; N% K! F, ~9 I, J9 O
资料来源：谋学网（www.mouxue.com）,对Charles设置代理时,Ip可以设置为127.0.0.1,端口为8888.
T、对
F、错
正确资料:

2 j! a! L# G* \  l. e( I0 h& ]


. G0 G" {# b8 R% g. a" h+ F


) H, F0 u! Q7 Y8 k
8 M7 M: \7 H  ~" ^! J" f  a
2 H( M" d& I: s# R) e2 L+ m


+ T8 i8 C1 I* Y5 H* p5 H/ m6 x  }
( G, ~3 v) n: M" Z1 N' A3 B/ T
, ]2 N" P9 x$ Y; C2 A: M* K