|
|
22秋学期（高起本1709-1803、全层次1809-2103）《网络爬虫与信息提取》在线作业-000030 k; y0 r* h6 Y- c# b8 _
试卷总分:100 得分:100
! S. z. Q6 G1 F一、单选题 (共 20 道试题,共 40 分)0 O( _, ^4 B+ U
1.Scrapy自带的待爬队列是()
/ b! L% Y# Z4 m3 NA.deque6 n% T0 h2 d8 t- r# x4 Y( P
B.queue
y: |6 W1 e) IC.list
+ @; b$ d4 \- {2 \3 L/ J& h/ wD.lqueue
" x5 p+ s8 U; k& ]- F& {% s0 S资料:
8 m! _( I1 [# p; ^8 {/ D
5 R% k6 T0 Y7 h4 U6 S5 M) L2.Python正则表达式模块的findall方法提取内容包含多个,则返回结果的列表中会包含()
+ p* i+ O2 s/ [5 Z$ b5 CA.列表
b4 E5 M, B$ _* l/ e) \0 n3 RB.元组 p0 x, k8 P* a5 } e' o+ s8 a2 a
C.字典8 j* o7 m6 U! Y
D.集合, s( U$ \/ T( ~$ p& I
资料:; _; k4 k1 ^3 C% Q# I0 |
# N9 c" _, i( W, \( ^ |
3.Redis是一个开源的使用()语言编写
+ K! w& I+ N* o; A% L, IA.ANSI C
# k4 W! U8 P' V SB.C++5 v% p! ?2 h: {5 L" D
C.JAVA0 E2 n) o, h0 f, |! t3 _6 O
D.Python
6 A/ Y' F! D4 H1 y i资料:1 i# {# L e9 m0 K. ^. ~( T8 ~
9 N1 {9 e+ b0 p, ^% J4 D
4.Python写CSV文件需要哪个方法()8 @9 y/ S( _% Z0 H T# A5 s
A.CSVWriter+ S* h& B% W2 s/ C) I
B.CsvWriter
7 Q1 a( x* [; |- rC.DictWriter
5 m& y6 }- _+ oD.FileWriter+ `) \4 @7 d* v# T- w. \" L
资料:
! A; s) u0 l. V6 ~4 f/ s& r
" M, Y! I9 I+ S6 C2 y- i: z5.使用Xpath构造属性值包含相同字符串的路径采用()方法1 j# y: L4 b$ ]! c3 j
A.contain w0 `6 v& e$ Y- l9 c* `
B.contains
y' l/ M* ^, Q# }! F3 E8 ^C.include b6 X' O; h6 |
D.includes: _) y( h. x5 `3 h+ E% D3 V+ V1 m
资料:& E( j! k4 w3 p# R4 k( U. t8 ?; j
/ F9 D* w0 q8 J* _8 X
6.以下关于Charles的说法正确的是( )
4 l7 ? k- p; Y. T) aA.Charles是一个跨平台的HTTP抓包工具，可以截取HTTP或者HTTPS请求的数据包
7 Y/ W7 t( }3 x) M5 uB.Charles有Windows 32/64版和Linux 64 版，但是目前还没有对Mac OS进行有效的支持。) J6 [0 U' o# T' ?
C.Charles上面滚动的数据就是目前计算机发起的数据包。单击工具栏上面的黄色笤帚图标，可以清停止抓包。! V& A' O* ^: C& j; g' `; R
D.在Charles启动时，系统自带浏览器的部分HTTP流量不会经过Charles。
) H8 u0 `/ h8 r& y1 O- f! v资料:
7 Q/ ]; ~; k6 ~" u
& W9 ~5 L' g* Q) W$ _$ s3 a7.Redis中写数据到列表中,使用关键字(). w% }9 q' T: ] Q9 [9 z$ g# t4 w
A.push
$ l( D) @% G0 S( z- Z/ @B.append
: j4 e/ A! S8 g& PC.lpush6 Z& M5 A2 j& K9 e
D.lappend# ^8 D$ l! l/ ~6 r" D; C
资料:# b7 U1 e$ i0 e# r
2 d, O. R5 D4 s+ H9 L8.打开终端,输入(),屏幕上会出现Python的路径
0 r j3 `: R! I6 x! UA.python path
& y! _0 X w2 {/ w; M7 `B.path python
: f5 { W2 q I* l) FC.which python( k3 J: S$ w: h" R8 P
D.python which
8 p7 v; Z# A- Q) {" K资料:' ]5 X- g6 H6 y( m. z0 i
# I( V. r/ Q6 [9.Python中跳过本次循环应用关键字()" O. e# u1 H# o$ f4 J8 m
A.break5 b! d6 d2 {; \5 C
B.continue
7 c ~$ V) e) u; A MC.exit. @$ o' z3 h5 @9 _
D.return( W5 S8 B# K7 |, c; I
资料:3 q0 [' g* u. M& W$ h
6 [9 g* s. ~. N; x5 i" W; B( Q v" x10.Chrome的开发者工具中哪个选项可以查找到cookies3 r# M0 r' l( E
A.Elements0 R% U0 T9 d) e$ D& r, K4 f1 q
B.Sources& x4 A" ~. J* z& n
C.Network ^; _; g3 I! N
D.Peformance
$ d$ J: ~9 R' }8 C! V2 h0 D4 ^资料:" [! X9 R7 E6 A# ?3 g1 ~
8 C% _$ V0 i! M! O' k11.下列哪项不是HTTP的请求类型()
7 h+ `7 |# ~. T# J. AA.GET3 f2 X, t# m4 \- h: e
B.POST
9 c: K2 s% W/ o% T. ~/ G5 lC.PUT
8 b& s p; u* kD.SET2 L9 l# _ x5 v4 |
资料:/ f4 q5 Z- u$ q7 |0 B* d
1 _- C8 G1 a# H8 U' ^: G! {
12.通常使用()工具来模拟浏览器进行爬虫请求
~/ h- i0 F4 m7 T( L( m NA.Selenium
" u% n9 O t C% [$ P, \B.Chrome
" u6 u% b8 S/ z9 tC.ChromeDriver
0 Z# C* o! v5 O% i# `D.WebDriver
$ c- r8 ^& `; H1 {; @+ d) _4 Q- p资料:
% q. C$ f! i' N+ c$ }5 f& w: |; }9 Z) D. r) _! }
13.chrome默认打开开发者工具的快捷是" c6 `8 X5 k8 {' P( L7 T2 }. ~
A.F5
9 H0 o% ~4 j4 n# r# e, ]: yB.F11
# `* m) N! |6 q- @$ ?C.F12
\, N) x8 Z a! F; U: JD.F2- j1 |$ C3 U1 d- ~, [" R- ^
资料:
7 Y% p& d/ b+ {* m0 p+ G9 K2 e& q( h/ e; K' `, g
14.Python中专门用来处理图像的第三方库是6 g* p8 C, `. D6 K/ e! d5 V
A.lxml! L5 y. C; y& G6 w! X; m0 `' U
B.Pillow
/ V" W% C3 m% O% y2 X" {1 S6 IC.beautifulsoup
7 B+ u, i8 n ~% ]D.pytesseract
+ a+ ]+ _9 x0 j/ ^$ E2 F1 Q资料:8 X/ N0 f! |4 x9 g7 M+ ^
0 s* J2 |; B5 r9 @. B9 ]
15.要想让Scrapy结合Redis,应该对Scrapy爬虫请求的调度算法进行修改,以下哪种修改不能完成这一任务?()
/ v1 @4 u8 ], {" KA.队列
- U$ ?! w5 z. d u" m; bB.栈2 G! V# r7 c% s; h3 N) A/ O
C.上锁9 I3 _) q2 q4 ?% H; |- T
D.优先级队列/ K) ]8 d( s4 o0 j' A: r0 q
资料: q1 c: u2 X5 L0 l7 y: ?$ r
) F' |1 p/ n* H6 V+ n- n16.以下表示请求资源重定向的HTTP状态码为
: l' E1 n9 z# y8 m# AA.200
) W" x! \, Y6 }9 x2 G' _1 CB.301! f$ ?% y9 I( ^1 o7 x/ i( c
C.404& O# n& V. ]& n1 v
D.500
' q$ w# l6 M& {" F; [4 g资料:! [! e) d* J9 A) m( i
4 L% ?( q8 U8 I1 w% [0 Z' i17.请问按哪个键可以打开Chrome自带的开发者工具()
- A9 D2 w$ P# s( Y7 V ]6 lA.F10" M, f( d/ I/ [' u8 V
B.F18 T# S0 @# O5 [4 e7 S8 X
C.F11
4 F# B4 i- x. X( ~1 nD.F12" R/ ^/ \, ]# ]" p8 U2 q9 [
资料:" D" r$ `$ T# A8 P V
/ @! Y- [$ s' h" C: E! l2 n s# y" e18.如果使用Python的数据结构来做类比的话,MongoDB中库相当于一个()! o F7 A7 e% s+ X
A.列表! [+ z1 U; w; P' y) V
B.元组
7 W& x6 i/ U3 f _- e( j) Z# sC.字典
/ t+ P4 h/ L9 s' o- t5 P" ND.集合
: Z8 u/ D$ b& E. s+ z资料:
4 ^5 I) d3 b! O3 q! i. f: Y
7 J! u# M* Q' r3 I19.执行下面代码,结果为(): name_list = [] if name_list and name_list[100] == '张三': print('OK')
; I: s( K& u6 H( }/ |3 tA.程序报错5 y2 E( { B# v% X- K; @
B.OK) ^' W8 }+ ^6 g' @2 s+ x9 i& m2 e" O
C.NULL
* a7 p! {; ^! g7 Z- S3 j- lD.无输出
3 M: D) C8 [9 o5 |+ w$ i" k0 m资料:+ j, _4 T' |; \& G0 H7 l7 ]( A
J. a1 x u# @8 r
20.使用UI Automatorr判断元素是否存在的操作是得到相应控件后使用命令()
* Q' }2 X4 l* o/ f4 A* E: H) jA.exist
; q9 N( O+ ]" ^; wB.exists) z4 w) l r: x
C.isnull$ V7 {1 L$ q" m; C# M( Q2 F
D.contains' a4 N4 ~: a8 u
资料:
, X9 T; S5 ?) k# ~8 C
" C5 f4 Q c0 `, i) l' n二、多选题 (共 10 道试题,共 20 分)
5 @; b1 M" C; |1 `: v21.为了解决爬虫代码本身的错误引起的异常,可以采用下列哪些方法
& |8 `. f( [0 T& pA.仔细检查代码4 y' k% z* }1 ]# d0 \ y
B.开发爬虫中间件: a% j" b# b h Z' y% s! z
C.开发下载器中间件" @' S3 p5 B, v
D.等待, k/ p& X) _2 m z
资料:
) s8 ~& l5 C' _, [4 O
2 u+ ]* T: y0 ^% c& f22.使用BeautifulSoup对象后可以使用()来查找内容5 [2 N/ o" A/ g
A.find_all: ~) x0 x5 j0 e4 @' B
B.find
0 P6 G7 U( w, O7 n pC.search6 H2 p- P% \# j) C; P c8 K. _
D.search_all
( W, i) D( _; t6 j2 [3 P资料:
/ \4 h+ C2 m# z8 s1 Z6 E+ g1 M, h! K
3 B( ?" G. U9 ~4 }* J( p; Y* \' @23.MongoDB中获取名字为set1的集合的语句为()
% c. A+ X4 R' N g' \$ z3 VA.database.set1+ A( {% I- l l |: }. v
B.database('set1')
- a n. `$ ]' Z1 {+ V* GC.database['set1']7 J5 q/ M. H* O# c; [) j1 R5 M
D.database{'set1'}
/ o. ]$ S+ ?5 ?资料:C2 M5 D3 P) z, k, { L
; Z/ T; v8 x- Z( k. Y1 C; R, @& J24.以下哪些可以独立成为Python编译器()5 @/ f8 K, E y8 O1 D
A.Pycharm
; [; P1 g# a1 C% |B.IDLE
" b/ W: `1 I: }/ T+ b) k R8 R* ?4 FC.Eclipse) I* b8 f# ]2 P1 D( Z. N% y- _7 @1 z
D.Visual Studio 2010, F" O6 h0 V5 b. }) d- |& [& A
资料:
3 d( _* ~# S# Z+ Z- j( o& e! Y$ x
" w& _2 X; v0 y8 N) n7 Y25.使用Selennium获取网页中元素的方法有, O' r; h6 X7 w" Q9 ^" r
A.find_element_by_name. x5 Y0 F& q5 m2 z4 h' i+ W; e
B.find_element_by_id
2 v! B9 q r1 y+ oC.find_elements_by_name
! D* M, ~. J' AD.find_elements_by_id( j. k" v$ p3 ^; P. X& r3 k
资料:CD
- q$ S. B3 Y9 [# \9 N) ~, K, q6 w2 m
26.下列关于在IOS上配置charles的说法正确的是()" b/ u' ~" P& k: s6 D4 t" s$ i
A.不同ios设备之间会有比较大的差别，所以配置的时候需要找到对应的安装证书的入口。" M1 q: R n T( [4 T5 L. W
B.手机和电脑需要在同一个局域网下。7 X7 b, ? U+ F# G( ^
C.HTTP代理可以使用"自动"选项。
* W- P9 `1 \/ d. F/ L" WD.安装好证书以后，打开iOS设备上的任何一个App，可以看到Charles中有数据包在流动
! u# ?$ U% t. b& n资料:! ?7 u& d6 k9 p3 O
3 B( ?9 ]3 m) o$ _27.网络爬虫的用途有()4 j; `! k0 ~( H5 K* H, ?- |8 \0 ?, p
A.收集数据
: \" W& ]$ K' e, ?9 `9 aB.尽职调查
! y% V( ~0 b5 t, O2 U0 uC.提高流量
* o: D+ ?0 \. n6 M. K8 lD.攻击服务器
5 I9 A; ~' s, T! ?& E, i资料:C3 J! F' G3 n2 ^* C. G9 E0 w
, { @ J$ I: I$ u$ @28.PyMongo删除操作有(). U2 p q% V3 ^3 l1 E
A.delete3 H3 ^+ e5 t7 J% Y4 w, O# M
B.delete_all
; v9 M4 q, n6 r- \# X% o. EC.delete_one
- q, U) b7 a+ y# ]- Y5 L/ V# HD.delete_many
3 y4 c5 h( W8 x: D/ b资料:' [5 B; {2 j$ Q; g8 M" B& n
, k: {+ D4 w3 H! y% S29.PyMongo更新操作有()/ |7 u2 A8 K* V8 P( M5 }
A.update. Z Z2 C8 X8 f7 B, p
B.update_all
2 a6 r* T" w' s. w% T4 ~$ AC.update_one
& f% d: K: O$ Z) |+ HD.update_many: S5 z) l" k; d J
资料:3 ]! s% X6 K P
. y& @: z9 M- t7 {
30.BS4可以用来从()中提取数据* G* ~: i- }# {9 `
A.HTML/ Q4 U4 X3 @# _9 N& Y, x3 f
B.XML: v) z% D1 v, h& ^8 O6 |5 m
C.数据库0 M8 K# H# v5 k9 w# y
D.JSON$ s; y6 U" Q& ^. `
资料:
; @# q3 E8 [1 x7 {
, n) X6 ?( [4 s# y6 D! p$ ~) x' f三、资料来源：谋学网（www.mouxue.com） (共 20 道试题,共 40 分)( {$ S1 @. Y$ k8 a `
31.在charles中使用CTRL+F搜索,JSON里面的中文是可以直接搜索到的。
) k& B& a* S# z" ?4 i2 l, N* l资料:错误9 s! |" A% u4 d
2 B2 B2 H, N7 ]4 M+ i& c H b
32.使用UI Automatorr操作实体键的命令为device.press.实体按键名称()
- t) @( w6 y8 o( j0 C9 u资料:正确; v& O8 r. t4 Q$ A
, ^$ @+ q7 C6 x33.代理中间件的可用代理列表一定要写在settings.py里面
7 {) _, I- ~& a1 G2 |1 c% D资料:错误( o9 {* a @% x
0 P Z/ s b0 o1 ^. R0 z+ E2 k0 g
34.引用中间件时后面的数字代表的是中间件的执行顺序,例如 'AdvanceSpider.middlewares.ProxyMiddleware': 543 中的543
) I$ T. S5 F" W+ b! l资料:正确
; G9 p2 x5 o( m# s/ A
9 p! f- X1 w6 }( A6 m( k35.如果把网络上发送与接收的数据包理解为快递包裹,那么在快递运输的过程中取出查看更改里面的内容,就是类似抓包的过程
9 u _% A: k( ~ [( A9 K: V" G资料:错误8 p; D v4 k% D8 ^+ I
) u1 e# o% n9 w `! K36.对Charles设置代理时,Ip可以设置为127.0.0.1,端口为8888., ^. D% y, j: l$ u' w
资料:正确: M3 r- g6 x3 \
5 B: T: R- ^9 q! F, l/ d37.Scrapy每一次发起请求之前都会在这里检查网址是否重复。因此如果确实需要再一次爬取数据,在Redis中把这个Key删除即可。
/ J# u; w8 Y; X" t2 C+ _! [资料:正确0 }$ _, |$ ^ Z2 r" d
# E4 q+ W+ R; U1 b6 K* Y38.使用异步加载技术的网站,被加载的内容可以在源代码中找到
! q3 y$ t6 d' _0 U/ t资料:错误
& N( _% Q0 x ~9 m, y2 H! P6 P/ m9 T+ X
39."curl http://爬虫服务器IP地址:6800/cancel.json -d project=工程名 -d job=爬虫JOBID"该命令的作用是启动爬虫
8 U8 n, _/ l. R) @* y: o& M资料:错误7 p) k) O1 @1 G- w
' T2 l) _4 L" {+ H7 J3 e- J& u
40.Redis中使用lrange读取数据后数据也会删除. A0 m2 y- ^, e! F! p0 W* L: r
资料:错误- y# L. d) j$ R+ n2 c8 Z
& B$ r& w( m3 T6 R41.在Ubuntu下若要运行Redis可以使用CMD进入解压以后的文件夹并运行命令redis-server.exe redis.windows.conf启动Redis' ^0 W: P; h, z) b9 l
资料:错误
, U+ p! U" B6 G3 J% U1 G& r" {; j; m4 w- y+ h) ~/ {
42.需要登录的网站一般通过GET请求就可以实现登录。
7 D) [8 O1 [* H, T, Y- h资料:错误
8 \" t* S0 i6 W! ]
0 W( l8 a! ?0 G( }- t% E43.爬虫中间件的激活需要另外写一个文件来进行
P5 X8 `2 {" l/ q6 i+ i资料:错误
8 L* i, | j) j1 ]2 C
+ y* b0 K5 Q. H$ l44.requests中post请求方法的使用为requests.post('网址', data=data)6 D. \3 e, ]. F- }$ T! u/ A
资料:正确8 ~. H: i: n1 e, e0 H
$ z7 ^' T* p) b' U) _
45.数据抓包就是中间人爬虫的一个简单应用。所以使用Charles也是一种中间人攻击
. S& v0 j! h9 y6 L& X q资料:正确% I/ {4 G5 n4 J. j
8 w+ ?" v. T4 f- k2 @/ l+ F
46.数据在MongoDB中是按照"库(Database)"-"集合(Collections)"-"文档(Document)"的层级关系来存储的。9 P+ i. j. N& o$ l
资料:正确
% y( h F7 Z; O. U! { t; j+ {! `6 l, _# R
47.如果目标网站本身就是提供公众查询服务的网站,那么使用爬虫是合法合规的。
* B7 ]& e7 t7 c3 G2 n资料:正确
+ I5 A; Z% ~5 c
, ~/ C( A$ X8 R) p0 @/ e0 [48.HTTP状态码中303状态码明确表示客户端应当采用POST方法获取资源
% c9 w/ l7 P* S$ ^) P! x R( O4 T资料:错误
- |0 r; P: q& L( [8 K E. S
& ~& z, ?7 r& C1 G L49.MongoDB是一个关系数据库产品
3 F* ]- ^( V8 q资料:错误' T; @! H# |* J" P
8 \$ N( c1 h6 W2 i! b9 E2 ?0 _! S
50.HTTP状态码302与307完全同义。
0 @: v' i3 }+ C资料:正确, z4 }$ I* M! |5 C2 N
2 f( d6 @4 v, e1 r. U8 t. O. S
9 M0 a8 K- ^1 v; M% K2 e: ]8 |# x% |! ^/ r$ f% D
( K+ I- L& E4 |, B7 q0 j% O0 K8 D2 X( N5 M8 z$ q% b
' Q S! {' ~+ g0 h. T& y2 R5 Q. L& n! `% V! K- A% X
* H+ N/ x, i5 d" r3 b/ V7 B+ T- ?* F/ y8 y) q* s) t9 S0 B. X
# w% x! r! J. z( P& Z
' g8 H9 {6 r B; \% W" R; X- M% k" x; l" s
|
|
IP卡
狗仔卡
发表于 2023-1-12 23:12:42
微信登陆 
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡
发表于 2023-1-13 08:03:22
客服一
