scrapy-redis和scrapy有什么區(qū)別？不應(yīng)討論scratch和scratch redis之間的區(qū)別。Scratch是一個(gè)通用的爬蟲(chóng)框架，它的功能比較完善，可以幫助你快速編寫(xiě)一個(gè)簡(jiǎn)單的爬蟲(chóng)，

scrapy-redis和scrapy有什么區(qū)別？

不應(yīng)討論scratch和scratch redis之間的區(qū)別。Scratch是一個(gè)通用的爬蟲(chóng)框架，它的功能比較完善，可以幫助你快速編寫(xiě)一個(gè)簡(jiǎn)單的爬蟲(chóng)，并運(yùn)行。為了更方便地實(shí)現(xiàn)碎片的分布式抓取，scrapredis提供了一些基于redis的組件（注意scrapredis只是一些組件，不是一個(gè)完整的框架）。你可以把它想象成一個(gè)能生產(chǎn)你想要的蜘蛛的工廠。為了幫助工廠更好地實(shí)現(xiàn)一些功能，其他廠家制造了一些設(shè)備來(lái)代替工廠原有的設(shè)備。因此，如果要運(yùn)行分布式，應(yīng)該首先設(shè)置場(chǎng)景工廠，然后使用場(chǎng)景redis設(shè)備替換一些場(chǎng)景設(shè)備。

Windows電腦可以實(shí)現(xiàn)分布式爬蟲(chóng)嗎？

分布式爬蟲(chóng)聽(tīng)起來(lái)不錯(cuò)，但是scrapy的redis組件可以非常簡(jiǎn)單地實(shí)現(xiàn)這個(gè)功能。只要每個(gè)服務(wù)器都可以相互訪問(wèn)，就可以輕松構(gòu)建分布式爬蟲(chóng)。有一定的基礎(chǔ)，可以看看scratch-redis的源代碼。其核心是與redis建立一個(gè)共享的任務(wù)隊(duì)列，保證每臺(tái)機(jī)器在同一時(shí)間爬行，并且任務(wù)不同。

python自學(xué)的好找工作嗎？

scrapy-redis和scrapy有什么區(qū)別？

sketch的請(qǐng)求存儲(chǔ)在內(nèi)存中，然后通過(guò)schedule進(jìn)行調(diào)度，并通過(guò)twisted進(jìn)行并發(fā)。為了分配，需要多個(gè)刮片參與調(diào)度。利用redis數(shù)據(jù)庫(kù)重寫(xiě)了在調(diào)度表中存儲(chǔ)和分發(fā)請(qǐng)求的方法。多個(gè)scrape通過(guò)遠(yuǎn)程鏈接到redis數(shù)據(jù)庫(kù)，同時(shí)參與調(diào)度。

另外，使用redis的set存儲(chǔ)結(jié)構(gòu)重寫(xiě)重復(fù)數(shù)據(jù)消除方法。

碰巧我也在學(xué)習(xí)速寫(xiě)redis，這是我現(xiàn)在的觀點(diǎn)