職位描述
崗位職責(zé)
1、負(fù)責(zé)構(gòu)建垂直類爬蟲架構(gòu),智能抓取系統(tǒng)設(shè)計(jì)與研發(fā)(如抓取調(diào)度,多樣化抓取,頁(yè)面解析和結(jié)構(gòu)化抽取,海量數(shù)據(jù)存儲(chǔ)和讀取等)
2、負(fù)責(zé)爬蟲核心算法的策略優(yōu)化研究,提升爬蟲抓取效率和質(zhì)量(如調(diào)權(quán)調(diào)度、分析預(yù)測(cè)、質(zhì)量判斷、封禁與反封禁研究等)
3、負(fù)責(zé)HTTP、AJAX等各類網(wǎng)絡(luò)請(qǐng)求分析,探索和研究高效的數(shù)據(jù)抓取解決方案
任職資格:
1、本科及以上學(xué)歷,良好的代碼能力,扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法功底,有快速迭代、逐步優(yōu)化的工程項(xiàng)目經(jīng)驗(yàn)
2、有良好邏輯思維能力、溝通能力、團(tuán)隊(duì)合作精神、學(xué)習(xí)能力,抗壓能力,對(duì)挑戰(zhàn)性問(wèn)題充滿激情
3、熟悉linux和Java開發(fā),熟悉shell/perl/python等腳本語(yǔ)言,熟練掌握正則表達(dá)式
4、有多線程、網(wǎng)絡(luò)數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先(如HTTP協(xié)議,AJAX,爬蟲開發(fā),瀏覽器內(nèi)核開發(fā),Web服務(wù)開發(fā)等)
5、有大規(guī)模分布式海量數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先(如Hadoop/Hbase/Spark/Strom/Flink等)
企業(yè)介紹
關(guān)于滴滴出行
滴滴平臺(tái)出行是全球領(lǐng)先的移動(dòng)出行平臺(tái);利用移動(dòng)互聯(lián)網(wǎng)和基于機(jī)器學(xué)習(xí)的算法技術(shù)實(shí)現(xiàn)司機(jī)、乘客、交通工具的智能匹配,為超過(guò)4億用戶提供出租車召車、專車、快車、順風(fēng)車、代駕、公交、小巴、在線租車和企業(yè)級(jí)等全面出行服務(wù)。2016年10月,滴滴日完成訂單已突破2000萬(wàn);成為是全球第二大在線交易平臺(tái)。2016年8月,滴滴出行并購(gòu)優(yōu)步中國(guó)。
滴滴致力于與不同社群及伙伴協(xié)作互補(bǔ),運(yùn)用大數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)技術(shù),解決中國(guó)城市的出行、環(huán)保、就業(yè)挑戰(zhàn);提升用戶體驗(yàn),創(chuàng)造社會(huì)價(jià)值,建設(shè)開放、高效、可持續(xù)的移動(dòng)出行新生態(tài)。2016年,滴滴登上《財(cái)富》雜志“改變世界的50強(qiáng)”榜單;同年,獲《MIT科技評(píng)論》膺選為全球五十大創(chuàng)新企業(yè)之一。2015年,滴滴入選達(dá)沃斯全球成長(zhǎng)型公司。