怎么使用python腳本運行多個scrapy爬蟲？1. 創(chuàng)建多個spider，science genspider spidername域名science genspider cnblogshomesp

怎么使用python腳本運行多個scrapy爬蟲？

1. 創(chuàng)建多個spider，science genspider spidername域名

science genspider cnblogshomespidercnblogs.com網(wǎng)站

通過上面的命令，我們創(chuàng)建了一個爬行器，爬行器名為cnblogshomespider，起始地址為，視圖項目下有多少爬蟲

[根@博根Cnblogs]#科學列表

cnblogshomespider

cnblogsspider

從這里我們可以知道在我的項目下有兩個蜘蛛，一個是cnblogshomespider，另一個是cnblogsspider。

學的Python，爬蟲沒學好，數(shù)據(jù)分析還得用爬蟲，怎么辦？

1. 首先，我們要有信心，任何技術(shù)都是從入門到精通。爬蟲是應用級技術(shù)。前提是學好基礎(chǔ)技術(shù)，學好爬蟲是理所當然的。基礎(chǔ)層次的知識包括：數(shù)據(jù)結(jié)構(gòu)、網(wǎng)絡(luò)技術(shù)、操作系統(tǒng)、算法研究、離散數(shù)學、線性代數(shù)、微積分等知識如果時間不允許，要理解就行，但必須全面。

3. 應用層的技術(shù)是海量的，比如Python本身，大數(shù)據(jù)，crawler，各種web開發(fā)語言等等，可以說我的生活是有限的，我對它一無所知。星星之火可以燎原。如果我開始學習，我就不用擔心學好了。我舉一個例子：我在學校的時候不懂河內(nèi)塔的算法，但是工作之后，隨著知識和經(jīng)驗的積累，當你回首往事，你會明白的。

學不好和學不好沒有區(qū)別。相信你自己