爬蟲(chóng)崗位職責

　　在現實(shí)社會(huì )中，崗位職責起到的作用越來(lái)越大，崗位職責具有提高內部競爭活力，更好地發(fā)現和使用人才的作用。想學(xué)習制定崗位職責卻不知道該請教誰(shuí)？下面是小編幫大家整理的爬蟲(chóng)崗位職責，歡迎大家分享。

爬蟲(chóng)崗位職責1

　　職責描述：

　　1，負責網(wǎng)絡(luò )爬蟲(chóng)系統的'設計與開(kāi)發(fā)

　　2，對爬取的網(wǎng)頁(yè)信息進(jìn)行數據抽取，清洗和去重等工作

　　任職要求：

　　1、2年及以上網(wǎng)絡(luò )爬蟲(chóng)開(kāi)發(fā)經(jīng)驗，本科及大專(zhuān)學(xué)歷，計算機相關(guān)專(zhuān)業(yè)，

　　2、積極、溝通順暢，工作認真負責

　　3、扎實(shí)的編程能力，熟悉常用算法和數據結構等基礎知識

　　4、熟練掌握開(kāi)發(fā)語(yǔ)言java或c/c++，熟悉腳本語(yǔ)言和正則表達式

爬蟲(chóng)崗位職責2

　　職位描述：

　　工作職責：

　　1.開(kāi)發(fā)網(wǎng)頁(yè)自動(dòng)化腳本。

　　2.負責商品信息結構化，編寫(xiě)自動(dòng)化腳本解析網(wǎng)頁(yè)信息。

　　3.商品索引系統：億級sku的庫存價(jià)格實(shí)時(shí)跟蹤同步，并對商品進(jìn)行智能分類(lèi)、本地化、圖片處理和去重。

　　4.設計、開(kāi)發(fā)、測試、部署以及維護并改進(jìn)各子系統；

　　5.管理項目?jì)?yōu)先級并按時(shí)交付。

　　職位要求：

　　1.全日制統招本科、碩士畢業(yè)，1年以上軟件開(kāi)發(fā)工作經(jīng)驗；

　　2.熟悉至少一門(mén)通用靜態(tài)編譯編程語(yǔ)言，c/c++/java/c#/go；

　　3.熟悉web端基礎標準，包括html、css、javascript、json等；

　　4.熟悉python或其他腳本語(yǔ)言，有興趣和能力根據需求學(xué)習其他編程語(yǔ)言；

　　5.熟悉unix/linux環(huán)境，memcache/redis/mongodb等存儲系統，能獨立設計開(kāi)發(fā)包括前后端交互的業(yè)務(wù)子系統；

　　6.熟悉常見(jiàn)的設計模式、單元測試、持續開(kāi)發(fā)集成、code review，并能在日常工作踐行；

　　7.了解搜索引擎、電子商務(wù)、社交類(lèi)應用的`系統基本架構，能對已有的子系統進(jìn)行優(yōu)化調整的優(yōu)先；

　　8.活躍的開(kāi)源項目貢獻者優(yōu)先。

爬蟲(chóng)崗位職責3

　　職位要求:

　　具備良好的計算機基礎，熟悉http協(xié)議，具備良好的`基礎前端知識;

　　有過(guò)良好的高并發(fā)系統的后臺開(kāi)發(fā)經(jīng)驗;

　　具備一定的數據處理/分析經(jīng)驗，熟悉hadoop、mapreduce、spark等并行計算框架;

　　了解小程序的基礎框架，有實(shí)際開(kāi)發(fā)經(jīng)驗更優(yōu);

　　掌握c/c++、python等一門(mén)或多門(mén)語(yǔ)言，有nodejs開(kāi)發(fā)經(jīng)驗更優(yōu);

　　如果您還具備以下技能，我們會(huì )優(yōu)先考慮:

　　具備網(wǎng)絡(luò )爬蟲(chóng)系統的開(kāi)發(fā)經(jīng)驗，有反爬蟲(chóng)實(shí)踐經(jīng)驗;

　　具備機器學(xué)習框架的開(kāi)發(fā)使用經(jīng)驗;

　　熟悉傳統搜索引擎的seo規則。

爬蟲(chóng)崗位職責4

　　職責描述：

　　1.參與爬蟲(chóng)系統的架構設計與開(kāi)發(fā)；

　　2.負責執行和開(kāi)發(fā)分布式網(wǎng)絡(luò )爬蟲(chóng)系統，進(jìn)行多平臺信息的抓取和分析；

　　3.負責網(wǎng)頁(yè)信息和app數據抽取、清洗、消重等工作，提升平臺的抓取效率；

　　4.參與爬蟲(chóng)核心算法和策略?xún)?yōu)化，熟悉采集系統的.調度策略；

　　5.實(shí)時(shí)監控爬蟲(chóng)的進(jìn)度和警報反饋。

　　任職要求：

　　1.本科以上學(xué)歷，3年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗，熟練使用python或java進(jìn)行開(kāi)發(fā)；

　　2.熟練使用正則表達式、css path、xpath等，能夠從結構化的和非結構化的數據中獲取信息；

　　3.熟練使用mysql數據庫，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實(shí)戰經(jīng)驗；

　　4.熟悉各種抓取技術(shù)，包括代理、phantomjs/selenium、驗證碼處理；

　　5.熟悉整個(gè)爬蟲(chóng)的設計及實(shí)現流程，有從事網(wǎng)絡(luò )爬蟲(chóng)、網(wǎng)頁(yè)信息抽取開(kāi)發(fā)經(jīng)驗，熟悉反爬蟲(chóng)技術(shù)，有分布式爬蟲(chóng)架構經(jīng)驗；

　　6.具有數據挖掘、自然語(yǔ)言處理、信息檢索、機器學(xué)習背景者優(yōu)先；

　　7.快速學(xué)習能力，工作積極主動(dòng)，有創(chuàng )業(yè)熱情和良好的團隊協(xié)助能力；

　　8.需要有大量數據爬取以及高難度反爬經(jīng)驗，沒(méi)有相關(guān)經(jīng)驗的勿擾。

爬蟲(chóng)崗位職責5

　　職位描述：

　　工作職責：

　　1、負責設計和開(kāi)發(fā)分布式網(wǎng)絡(luò )爬蟲(chóng)系統，進(jìn)行多平臺信息的抓取和分析工作；

　　2、負責網(wǎng)頁(yè)信息和app數據抽取、清洗、消重等工作，提升平臺的.抓取效率；

　　3、參與爬蟲(chóng)核心算法和策略?xún)?yōu)化，熟悉采集系統的調度策略；

　　4、實(shí)時(shí)監控爬蟲(chóng)的進(jìn)度和警報反饋。

　　任職要求：

　　1、有扎實(shí)的算法和數據結構能力；

　　2、熟悉爬蟲(chóng)原理，熟悉常見(jiàn)的反爬蟲(chóng)技術(shù)，有爬蟲(chóng)相關(guān)項目開(kāi)發(fā)經(jīng)驗者優(yōu)先；

　　3、掌握http協(xié)議，熟悉html、dom、xpath等常見(jiàn)的數據抽取技術(shù)；

　　4、有大規模數據處理、數據挖掘、信息提取等經(jīng)驗者優(yōu)先。

爬蟲(chóng)崗位職責6

　　職位描述：

　　1、負責廣告素材線(xiàn)索和垂直類(lèi)產(chǎn)品爬蟲(chóng)系統的設計、開(kāi)發(fā)

　　2、抓取數據的'清洗、落地、分析

　　3、抓取策略算法的更新維護，以及確保數據抽取準確、高效

　　任職要求：

　　1、具備強悍的編碼能力、扎實(shí)的數據結構和算法功底

　　2、熟悉tcp，http協(xié)議原理；熟悉ajax工作原理；精通python編程，熟悉一種開(kāi)源爬蟲(chóng)框架和源碼；

　　3、有爬蟲(chóng)、信息抽取、文本分類(lèi)、大數據處理相關(guān)經(jīng)驗優(yōu)先

　　4、有自然語(yǔ)言處理、機器學(xué)習經(jīng)驗優(yōu)先

爬蟲(chóng)崗位職責7

　　崗位職責：

　　1.負責網(wǎng)絡(luò )爬蟲(chóng)的`架構設計、開(kāi)發(fā)與優(yōu)化；

　　2.負責抓取數據的清洗、落地、分析；

　　3.抓取策略算法的更新維護，以及確保數據抽取準確、高效。

　　任職要求：

　　1.兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗；

　　2.理解http協(xié)議，熟悉html、dom、xpath；

　　3.熟悉linux開(kāi)發(fā)環(huán)境，至少熟悉python/go/java/node.js中的一種編程語(yǔ)言；

　　4.有爬蟲(chóng)、信息抽取、文本分類(lèi)、大數據處理相關(guān)經(jīng)驗優(yōu)先；

　　5.有自然語(yǔ)言處理、機器學(xué)習經(jīng)驗優(yōu)先；

　　6.熟悉瀏覽器內核、渲染機制優(yōu)先；

　　7.工作認真，細心，有條理，積極性高；良好的溝通能力及團隊合作精神。

爬蟲(chóng)崗位職責8

　　崗位職責

　　1.熟悉線(xiàn)程池、并發(fā)機制、鎖機制、線(xiàn)程安全原理；

　　2.java體系知識：網(wǎng)絡(luò )io、設計模式、linux、jvm、java類(lèi)加載機制、java內存模型；

　　3.爬蟲(chóng)經(jīng)驗：webmagic、adsl撥號、正則表達式、脫殼技術(shù)、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲(chóng)調度、數據質(zhì)量監控、代理ip調度算法、配置化爬蟲(chóng)、授權爬蟲(chóng)、輿情、應用市場(chǎng)、反爬；

　　4.熟悉http/http、tcp/ip、socket等通訊協(xié)議；

　　5.6年以上軟件開(kāi)發(fā)經(jīng)驗，至少2年爬蟲(chóng)開(kāi)發(fā)經(jīng)驗。

　　任職要求

　　1.采集、清洗、監控、配置化、調度、反爬、數據爬取、分詞、檢索等數據采集研發(fā)；

　　2.較強的邏輯思維和發(fā)散思維；

　　3.計算機或相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷。

【爬蟲(chóng)崗位職責】相關(guān)文章：

爬蟲(chóng)崗位職責12篇02-19

值班崗位職責-崗位職責07-25

倉管員的崗位職責-崗位職責01-15

it部經(jīng)理崗位職責-崗位職責07-25

物業(yè)班長(cháng)崗位職責-崗位職責11-03

庫管崗位職責-崗位職責01-10

渠道銷(xiāo)售崗位職責-崗位職責01-10

業(yè)務(wù)代表的崗位職責-崗位職責01-11

保險內勤的崗位職責-崗位職責01-11