當前位置 : IT培訓網 > IT培訓 > 交流分享 > 寫爬蟲,用什么編程語言好,python好嗎

寫爬蟲,用什么編程語言好,python好嗎

時間:2019-10-18 11:43:17??來源:編程網??作者:IT培訓網??已有:名學員訪問該課程
標簽(Tag):?? Python(36)爬蟲(1)
仿佛寫爬蟲是件很低級很low的技術活。在他那家公司,招進來的實習生就多多少少會點爬蟲,什么nodejs、golang,哪個不是爬蟲的好手。沒想到我畢業多年,竟然淪落到做實習生的工作,可悲可泣。

用Python寫爬蟲就很low?你贊同嘛?為何不建議使用python寫爬蟲呢,是有什么因素嗎,難道用python寫爬蟲不好嗎?

之前換了份工作,不再是單純的Web開發了,要學習的東西真的挺多的。入職的第1天,就讓我入手寫個爬蟲,只是這個爬蟲沒有采集幾個億數據量的業務場景。

于是,整理了下需求,簡單的設計了下方案就草草開始了。小B是我大學時候的舍友,那天這哥們約我吃飯,想看下能否順帶介紹幾個妹子。酒過三巡,不勝酒力,于是便聊起了最近的工作。

當他知曉我竟然在寫爬蟲,便起了憐憫之心,覺得我懷才不遇。仿佛寫爬蟲是件很低級很low的技術活。在他那家公司,招進來的實習生就多多少少會點爬蟲,什么nodejs、golang,哪個不是爬蟲的好手。沒想到我畢業多年,竟然淪落到做實習生的工作,可悲可泣。

接著建議我轉到Java陣營,如果到他公司去,多多少少也能混個組長的職位。搞得自己只能一番苦笑。

不知道從何時起,程序員的世界流行起了鄙視鏈這玩意。什么寫C語言的鄙視寫C++,寫C++的鄙視寫Java的,最后鄙視鏈最低端是PHP。具體是怎樣的關系,就不再深究了。

寫爬蟲,用什么編程語言好,python好嗎_www.btityu.live

寫爬蟲,用什么編程語言好,python好嗎

然而,縱觀整個行業,都說Python火。具體有多火,看培訓機構的廣告就知道了。在16年之前,Python還是1個若不見經傳的單詞,之后各家培訓機構鋪天蓋地的廣告,什么大數據、自動化運維全都跟Python扯上了關系。畢業學生薪資更是達到了50-100W,還老是招不到人。

更有意思的是,學Python最容易上手的過程就是寫爬蟲。什么Scrapy、Pysider是必學,HTML、Javascript是重點,外帶幾個豆瓣、花瓣網的實戰案例,讓你一下子就能解決企業的剛需。

這樣說來,難怪連實習生也能跟你搶飯碗了,技術發展的太快,各種框架完善的結果是釋放人力,降低成本。

據我了解,Python的優勢集中于數據分析、信息安全這些領域。你可能聽說過Hadoop、Spark、Tensorflow這些高大上的名詞,但是對于數據取證、DLL注入等內容可能從無聽聞。舉個簡單的例子,在數據取證中,由于犯罪人員不配合檢查機關的工作,通過數據取證技術我們可以進行一些信息的提取,從而輔助證實其犯罪記錄,如獲取系統密碼、瀏覽器中賬號及密碼。

聽起來感覺挺高大上的,但是如果我跟你說其過程就是對sqlite3文件數據庫查詢一下SQL,不知道你會不會覺得上述取證的例子瞬間挺low的。但是,當你不小心把微信消息的圖片刪掉想找回的時候,或許你能在Python中找到對應的方案,而其他的語言還真沒發現有合適的。

于是,我安慰他說,搞完這波爬蟲騷操作,下一次就是數據分析了,你看不有前進了一步?

還數據分析,你反倒想的挺遠的。小B打斷了我的話,你覺得人家會讓你搞數據分析,沒有數據何來的分析。況且,沒有哪家公司會笨到把所有數據都暴露在互聯網上。你能看到的只是那冰山的一角。即使你想深入進去,沒有分布式技術支撐和幾十個億的數據業務,你簡歷上也不會有亮點。

然后,又聊到他公司近期招了個大數據的開發,薪資比他還要高出一大截,但是技術卻不咋地。我從小B的話里聽出了一絲不屑了。于是,又慫恿我不要再搞什么爬蟲了,還是搞Spark才有未來。既不用擔心大半夜服務掛了,又不用擔心完不成采集數量。完全是實打實的數據,何樂而不為呢?

這話聽得我都有點動心了,沒有攀比就沒有傷害。但是一想到Java是加班加點工作,我還是打消了這個念頭。

我不知道該說些什么,只是覺得時間過得很慢,是種煎熬。于是只能岔開了話題,免得吃頓飯都艱辛。

結語

技術沒有low不low,沒有爛的技術,只有不會用的人。重要的是人家能給你多少錢,你能做成怎樣的結果。

這年頭會有多少公司愿意給實習生稅后1W+的月薪,而這一切都只是份養活自己的技能而已,別把面子太當回事。

寫爬蟲,用什么編程語言好,python好嗎,其實編程的路上只在于擅長,沒有所謂的行不行,如果不擅長,就是給你好用的編程語言也沒有效果,如果想要學編程,那就關注IT培訓網,讓我們一起走進編程的世界!

頂一下
(0)
0%
踩一下
(0)
0%

IT培訓0元試聽 每期開班座位有限.0元試聽搶座開始! IT培訓0元試聽

  • 姓名 : *
  • 電話 : *
  • QQ : *
  • 留言 :
  • 驗證碼 : 看不清?點擊更換請輸入正確的驗證碼

在線咨詢在線咨詢

溫馨提示 : 請保持手機暢通,咨詢老師為您
提供專屬一對一報名服務。

------分隔線----------------------------
------分隔線----------------------------

推薦內容

法国网球公开赛直播表