1樓：山丘
python爬蟲可以爬取的東西有很多，python爬蟲怎麼學？簡單的分析下：
如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，網際網路可以獲取的資料越來越多，另一方面，像 python這樣的程式語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。
利用爬蟲我們可以獲取大量的價值資料，從而獲得感性認識中不能得到的資訊，比如：
知乎：爬取優質答案，為你篩選出各話題下最優質的內容。
安居客、鏈家：抓取房產買賣及租售資訊，分析房價變化趨勢、做不同區域的房價分析。
拉勾網、智聯：爬取各類職位資訊，分析各行業人才需求情況及薪資水平。
雪球網：抓取雪球高回報使用者的行為，對**市場進行分析和**。
爬蟲是入門python最好的方式，沒有之一。python有很多應用的方向，比如後臺開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行**就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習python資料分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，python基本語法、庫的使用，以及如何查詢文件你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常複雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 python，然後哼哧哼哧系統學習 python 的每個知識點，很久之後發現仍然爬不了資料；有的人則認為先要掌握網頁的知識，遂開始 htmlcss，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流**的資料，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這裡給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 python 包並實現基本的爬蟲過程
2.瞭解非結構化資料的儲存
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模資料儲存與提取
5.掌握各種技巧，應對特殊**的反爬措施
6.分散式爬蟲，實現大規模併發採集，提升效率
一學習 python 包並實現基本的爬蟲過程
大部分爬蟲都是按「傳送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁資訊的過程。
python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+xpath 開始，requests 負責連線**，返回網頁，xpath 用於解析網頁，便於抽取資料。
當然如果你需要爬取非同步載入的**，可以學習瀏覽器抓包分析真實請求或者學習selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的**也可以迎刃而解。
二瞭解非結構化資料的儲存
爬回來的資料可以直接用文件形式存在本地，也可以存入資料庫中。
開始資料量不大的時候，你可以直接通過 python 的語法或 pandas 的方法將資料存為csv這樣的檔案。
當然你可能發現爬回來的資料並不是乾淨的，可能會有缺失、錯誤等等，你還需要對資料進行清洗，可以學習 pandas 包的基本用法來做資料的預處理，得到更乾淨的資料。
三學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的資料和**基本沒有問題了，但是在遇到非常複雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。
scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的效能，讓你可以將爬蟲工程化、模組化。
學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
四學習資料庫基礎，應對大規模資料儲存
爬回來的資料量小的時候，你可以用文件的形式來儲存，一旦資料量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 mongodb 就ok。
因為這裡要用到的資料庫知識其實非常簡單，主要是資料如何入庫、如何進行提取，在需要的時候再學習就行。
五掌握各種技巧，應對特殊**的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被**封ip、比如各種奇怪的驗證碼、useragent訪問限制、各種動態載入等等。
遇到這些反爬蟲的手段，當然還需要一些高階的技巧來應對，常規的比如訪問頻率控制、使用**ip池、抓包、驗證碼的ocr處理等等。
往往**在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的**已經難不到你了.
六分散式爬蟲，實現大規模併發採集
爬取基本資料已經不是問題了，你的瓶頸會集中到爬取海量資料的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分散式爬蟲。
分散式這個東西，聽起來很恐怖，但其實就是利用多執行緒的原理讓多個爬蟲同時工作，需要你掌握 scrapy + mongodb + redis 這三種工具。
scrapy 前面我們說過了，用於做基本的頁面爬取，mongodb 用於儲存爬取的資料，redis 則用來儲存要爬取的網頁佇列，也就是任務佇列。
所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分散式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的資料獲取。
你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，儘量不要系統地去啃一些東西，找一個實際的專案（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。
因為爬蟲這種技術，既不需要你係統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的專案中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。
當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。
以上就是我的回答，希望對你有所幫助，望採納。
2樓：毫幾德謊
python爬蟲可以爬取**上的資料。比如，可以抓取京東上的商品資訊和**等。極光爬蟲，可以幫助更好的採集資料。
3樓：匿名使用者
爬蟲 可以爬取很多 比如 京東 **啥的 爬取各種資訊
4樓：匿名使用者
2023年全新python3.6網路爬蟲實戰案例5章(基礎+實戰+框架+分散式)教程
5樓：曾有_幾人
網上公開資料都可以爬取
6樓：匿名使用者
在一大堆技術術語裡，最為被大家所熟知的大概就是「網路爬蟲」了。其實網路爬蟲這個名字就已經特別好地表現出了這項技術的作用——像密密麻麻的蟲子一樣分佈在網路上，爬行至每一個**獲取資料使用http**ip；也一定程度上表達了人們對這項技術的情感傾向——爬蟲或許無害，但總是不受歡迎的。
有一個說法是，網際網路上60%的流量都是網路爬蟲創造的。這個說法雖然誇張了點，但也體現出了網路爬蟲的無處不在。爬蟲之所以無處不在，是因為爬蟲可以為網際網路企業帶來收益。
python網路爬蟲可以幹啥
7樓：匿名使用者
爬蟲可以抓取網路上的資料啊。爬蟲可以用很多種程式語言實現，python只是一種。所以你想知道的是網路爬蟲可以幹什麼。
他比如**交易資料，天氣資料，**使用者資料，**。
拿到這些資料之後你就可以做下一步工作了。
你去看看這裡就明白了
8樓：匿名使用者
網路爬蟲可以抓取網上的資料，也就是通過程式去獲取web頁面上自己想要的資料。夢蝶資料對餓了麼，美團，**都可以採集抓取資料。
9樓：大梁
從**某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它連結地址，然後通過這些連結地址尋找下一個網頁，這樣一直迴圈下去，直到把這個**所有的網頁都抓取完為止。如果把整個網際網路當成一個**，那麼網路蜘蛛就可以用這個原理把網際網路上所有的網頁都抓取下來。
網路爬蟲(又被稱為網頁蜘蛛，網路機器人，在foaf社群中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻，自動索引，模擬程式或者蠕蟲。
10樓：30786追風
可以看下www.akppx.com
11樓：匿名使用者
以下內容，引用自知乎資料
工程師何明科。我覺得他說得很詳盡，一點都不空泛~
1、知乎：抓取並彙總所有的答案，方便大家閱讀，找出2023年最熱門和最衰落的行業。
2、汽車之家大資料畫像：利用論壇發言的抓取以及nlp，對各種車型的車主做畫像。
4、58同城的房產、安居客、q房網、搜房等房產**：抓取房產買賣及租售資訊，對熱熱鬧鬧的房價問題進行分析。
5、大眾點評、美團網等餐飲及消費類**：抓取各種店面的開業情況以及使用者消費和評價，瞭解周邊變化的口味，所謂是「舌尖上的爬蟲」。以及各種變化的口味，比如：
啤酒在衰退，重慶小面在崛起。
6、58同城等分類資訊**：抓取招商加盟的資料，對定價進行分析，幫助網友解惑。
7、拉勾網、中華英才網等招聘**：抓取各類職位資訊，分析最熱門的職位以及薪水。
8、**網等醫療資訊**：抓取醫生資訊並於巨集觀情況進行交叉對比。
10、攜程、去哪兒及12306等交通出行類**：對航班及高鐵等資訊進行抓取，能從一個側面反映經濟是否正在走入下行通道。
12、58同城二手車、易車等汽車類**：找出最佳的買車時間以及最保值的汽車。
13、神州租車、一嗨租車等租車類**：抓取它們列舉出來的租車資訊，長期跟蹤租車**及數量等資訊。
14、各類信託**：通過抓取信託的資料，瞭解信託專案的型別及規模。
想獲取更多it類資料，可以到優就業官網看哦~
python網路爬蟲可以幹什麼？
12樓：大梁
從**某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它連結地址，然後通過這些連結地址尋找下一個網頁，這樣一直迴圈下去，直到把這個**所有的網頁都抓取完為止。如果把整個網際網路當成一個**，那麼網路蜘蛛就可以用這個原理把網際網路上所有的網頁都抓取下來。
網路爬蟲(又被稱為網頁蜘蛛，網路機器人，在foaf社群中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻，自動索引，模擬程式或者蠕蟲。
python網路爬蟲可以幹啥，Python一般可以用來幹什麼呢？
爬蟲可以抓取網路上的資料啊。爬蟲可以用很多種程式語言實現，python只是一種。所以你想知道的是網路爬蟲可以幹什麼。他比如 交易資料，天氣資料，使用者資料，拿到這些資料之後你就可以做下一步工作了。你去看看這裡就明白了 網路爬蟲可以抓取網上的資料，也就是通過程式去獲取web頁面上自己想要的資料。夢蝶資...
mac用來寫python爬蟲可以不
linux下執行python程式，一般說來有以下兩種形式，其實和windows下基本一樣。一 在idle中執行 在終端視窗輸入 python進入互動式執行環境，然後就可以邊輸入邊執行 了 print hello python hello python 退出使用ctrl d。二 以指令碼方式執行 在p...
什麼p圖軟體可以修改頭髮顏色，哪個P圖軟體可以給頭髮染顏色？
p頭髮顏色的軟體，用ps修改頭髮顏色 可以用ps來調整的。ps調整方法比較多，比如可以調整色調或用蒙版都是不錯的選擇 你好，用ps就可以了，如果不會用，美圖秀秀也行。ps或者光影魔術手等 哪個p圖軟體可以給頭髮染顏色？10 你可以使用魔發相機來換髮型和染髮！如圖 ps完全解決，網上搜尋 ps修改頭髮...