Javen-Studio 咖啡小屋

http://javenstudio.org - C++ Java 分布式 搜索引擎
Naven's Research Laboratory - Thinking of Life, Imagination of Future

  C++博客 :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理 ::
  24 随笔 :: 57 文章 :: 170 评论 :: 4 Trackbacks


简 历


本人概况

姓名:陈海军 性别:民族:出生年月:1977年8月

工作经历:1999年7月-2013年3月 263网络集团, 雅虎中国, 卓望信息,博泰, 无线立通 地址:北京

最近职务:资深架构师(总监)。

特点:做事认真负责、严谨细致,爱钻研核心技术,关注技术趋势

专长:Hadoop云存储技术/Lucene搜索引擎技术等, 主要使用C/C++/Java语言

联系电话: 邮件地址/MSN:navychen2003@hotmail.com 博客:http://javenstudio.org/


工作经历

创业

2013年3 - 现在 创业

开发基础平台产品: 个人云存储系统和我的资料库管理系统

公司: 无线立通

2011年5 - 2013年3月 资深架构师(总监)

负责公司架构师团队, 并对各个系统设计进行评审, 设计和研发各应用系统需要的基础框架

负责项目有: 大众邮聊产品前端后端系统设计, 大众PushEmail产品前端后端基础框架设计, 企业邮件系统存储和搜索系统设计等, 短信网关基础框架设计等

公司: Pateo博泰

2001012 - 2011年5月, 技术架构

公司: 卓望信息

2009年7月 - 2010年11月,移动搜索系统架构设计和开发

2010/3-2010/9:移动搜索平台系统项目

角色:移动搜索平台系统架构设计/开发 人员:约1-3位工程师
系统平台:Linux pc server
开发语言和相关技术:Java

2010年3月至2010年9月,设计和开发移动搜索平台系统(改造Hawk搜索系统,基本完整实现Google提供的移动搜索服务),包括新闻搜索、SP元数据搜索、其它信息搜索,以及后台索引提交服务系统,SP元数据校验服务,动态摘要等。

2009/7-2010/1:Hawk集群搜索平台系统项目

角色:Hawk搜索平台系统架构设计/开发 人员:约1-2位工程师
系统平台:Linux pc server
开发语言和相关技术:Java

2009年7月至2010年1月,设计和开发Hawk集群搜索平台系统以支持梦话项目,功能特点包括1,集群式搜索服务器管理和调度系统,根据角色定义各个搜索服务器启动的后台服务,以实现分布式搜索系统;2,可根据应用需求配置定义索引结构及文档结构,实现垂直搜索应用;3,分布式数据索引和存储以及检索系统,实现查询服务器群,搜索服务器群,索引服务器群分离并分别独立扩展,实现数据分布索引和存储,理论可以支持上亿数据规模的索引和检索应用;4,根据应用配置索引数据和调度策略,可以实现不同时段数据按不同规则进行索引处理及数据同步等。

公司: 无线立通

200810 - 20096月, 企业邮局系统架构及平台系统设计和开发

2008/10-2009/6: 企业邮局系统和平台系统项目

角色:邮局系统架构设计/开发 人员:约4位工程师
系统平台:Linux pc server
开发语言和相关技术:C/C++, C#

2008年10月至2009年6月,参与PushEmail平台系统设计和开发(C#语言),后负责企业邮局系统架构设计。

合作项目

2008年1月 - 2009年1月, 开发hawk搜索平台及合作项目

公司: 雅虎中国

2005年12月 - 2008年1月, 任网页搜索相关性部搜索引擎研究小组组长

2007/9-2007/12: 知识问答搜索项目

角色:项目经理/规划/技术设计/开发 人员:4位工程师
系统平台:FreeBSD pc server
开发语言和相关技术:Java, Lucene, Hadoop

2007年9月至12月,带领5位同事负责研发知识搜索平台,吸取了Lucene/Hadoop/Nutch开源项目的优点,设计并开发一套已扩展的搜索平台,并在它基础上设计并开发智能型搜索项目知识搜索,此搜索平台也同时应用于多个中小型垂直搜索产品中。在此项目中同时运用了一些极限编程思想来管理项目过程。


2007/5-2007/6: 网络字典1.0优化项目

角色:技术设计/开发 人员:3位工程师
系统平台:FreeBSD pc server
开发语言和相关技术:Vespa, C/C++, Perl, Java

参与网络字典项目组改进其索引和检索性能和相关性等。

2006/10-2007/1: Hadoop小组及应用项目

角色:小组组长/规划/应用项目设计开发 人员:6位工程师 均part-time
系统平台:Redhat Linux, 5 pc server
开发语言和相关技术:Java, Hadoop

2006年8月2008年1月,任引擎研究小组组长,并负责与US同事合作并加入开源的hadoop项目,承担部分任务,同时负责公司hadoop cluster的建设及其应用的推广支持等。后期负责公司Vespa搜索引擎的源码研究以及多重索引改造工作,编写了其完整的索引结构和检索技术文档。

这段时间在负责本部门team的工作同时,开始任领导要求成立并负责hadoop小组虚拟团队,与6位不同部门同事与US团队合作参与hadoop项目研发。在前期工作进行比较顺利,并成功建立了2个测试用cluster并完成几个应用项目。后期由于需要投入更多硬件资源和公司的战略变化等原因不得不搁置最后暂停了本项目。本人希望能通过此项目深入理解分布式计算,并有实际应用。


2007/2-2007/5: Vespa搜索引擎多重索引研究项目

角色:项目经理/规划/设计开发 人员:2位工程师 + 2位工程师part-time
系统平台:FreeBSD pc server
开发语言和相关技术:C/C++, Vespa , Word segmentation and YWS

另外一个项目就是负责一个4人小组研究公司vespa搜索引擎源码,并且进行多重索引改造和测试等研究,同时完成部分引擎技术文档和培训。不仅对vespa的架构有了更充分认识,对其索引结构和检索算法也有了更深入理解。此项目的同时本人还在研究lucene源码,并想完成一个系列文章贴在自己blog上,与同道中人交流,还在进行中,本人希望能尽快更深入地理解搜索引擎技术以及在学习智能检索,人工智能等方向有所成效。



2006/6-2006/12: 网页搜索拼写纠错2.0项目

角色:项目经理/总体设计/基础代码设计开发 人员:3位工程师
系统平台:FreeBSD pc server
开发语言和相关技术:C++, Php/extension, perl, Java, Hadoop

2006年3月至12月,带领6位新同事负责相关搜索和拼写纠错等产品,大部分是刚毕业学生,对自己有一定挑战,做了多种工作方式调整并如期成功发布了新版相关搜索和全新开发的拼写纠错产品,质量和稳定性都达到了国内领先水平。
这段时间的主要工作除了培养新人,具体的项目一个就是开发相关搜索3.0和4.0,重点解决成人词识别等问题,并加入了词性识别,同时完善了词典管理工具等,使得相关搜索更加成熟。拼写纠错是另一个全新开发的系统,包括拼写纠错和拼音推荐两个模块,此新版本在US同事设计的算法基础下进行全新设计和开发,本人划分了几个独立模块:词典管理和搜索基础框架模块,拼写纠错模块,拼音推荐模块,管理系统模块等与二位同事协同开发,并第一次使用hadoop系统挖掘网络日志计算出同现频率等词库,同时开发出高效的词库批量review工具和批量测试工具,使得项目在预计时间内按质按要求成功完成并一次上线成功,一直稳定运行至今。


2005/12-2006/12: 网页搜索相关搜索2.0项目

角色:项目经理/总体设计/代码设计开发 人员:4位工程师+1位工程(台湾)+1位架构师(美国)
系统平台:FreeBSD pc server
开发语言和相关技术:C++, Php/extension, perl, Vespa Search Engine

2005年12月,接手相关搜索项目,并任项目经理负责全新架构的相关搜索的设计和开发,与国内外三地工程师联合开发,项目如期上线并达到了国内同类产品前列,并创新加入多种技术如query分析,Re-rank等。
本人接手第一个项目是相关搜索1.0,由于在一些词的相关性方面与国内大搜索引擎公司还有较大差距,所以2.0重点解决相关性问题。本人首先熟悉目前系统的架构和检索算法,并考察竞争对手的特点,得出几条主要的不足之处,最重要的是中心词识别问题,1.0版本在这方面改进较少,所以重点分析加入了中心词识别技术,大大提高了相关性。另一个重点问题是数据量加大后的检索效率问题,新版本引入了更先进的vespa搜索引擎平台,使得2.0在各方面都有了很大提高,并成为网页搜索内部最重要的PV来源之一。

公司: 263网络通信集团

2004年4月 - 2005年10月, 任邮件技术平台部经理并负责邮件技术架构

2005/01-2005/05: 263邮件服务平台和C++基础库

角色:经理/技术架构/基础库代码设计开发 人员:6位工程师
系统平台:Solaris Sparc64 和 Redhat Linux pc server
开发语言和相关技术:C++, TCP/IP, SMTP, POP3


带领近10个人的开发团队负责263邮件系统的平台模块系统的设计开发和维护,主要包括存储、认证、投递、 MTA转发及POP3这样的系统等。负责邮件系统的技术架构的设计和规划,并曾制定公司 开发规范草稿。在工作中应用UML和敏捷过程的理念,实现较大系统的协同开发。

设计并开发了一套通用的C++框架,包含了基础的容器库、类似Log4j的日志库、IO流及网络库和类似JavaMail的邮件解析库, 还设计了通用的服务器框架库等,参考Java和.Net的接口设计,大约20万行代码。 带领本部门同事使用面向对象思想开发系统,实现了模块化的设计,测试也通过自己开发的一个工具实现 了自动化测试。为公司培养了一些人才。

2002年12月 - 2004年3月, 负责邮件核心模块存储系统及基础库的开发维护

2002/12-2004/02: 263邮件存储系统和基础库

角色:技术架构/设计开发/基础库代码设计开发 人员:1位工程师
系统平台:Solaris Sparc64 和 Redhat Linux pc server
开发语言和相关技术:C/C++, TCP/IP, pthread/IPC/shm, Mime/RFC

负责邮件存储系统及邮件LIB库等,对邮件的存储系统做过多次较大改造,如大规模迁移用户数据、解决重大故障等, 上线全部成功,用户投诉很少。此期间学习了Unix/Linux下的C系统开发,如进程线程、网络通信等,以及Win32系统, COM对象模型技术,操作系统原理等。

1999年8月 - 2002年12月, 任项目经理负责开发邮件计费系统及商城系统等

2001/10-2002/12: 263邮件计费系统

角色:项目经理/技术架构/基础代码设计开发 人员:4位工程师
系统平台:Redhat Linux pc server
开发语言和相关技术:C/C++, Java, oracle

在2002年,带领三位同事负责开发263邮件计费系统,使用Java语言,并设计了一套类似struct的MVC框架, 这次成功的Java应用为许多项目打下了基础。



2000/08-2001/10: 263商城系统ASP版

角色:项目经理/技术架构/基础代码设计开发 人员:4位工程师
系统平台:Windows 2000 pc server
开发语言和相关技术:asp, C/C++, COM, sql server, Delphi

在2001年,带领三位同事并负责开发一套网上购物系统,使用成熟的ASP语言和SQL Server数据库进行开发, 并使用Delphi设计了购物车COM组件。这套系统即263商城一直使用至今, 基本实现了免维护。


2000/02-2001/8: 263商城系统Java版

角色:负责后台管理系统设计/代码设计开发 人员:6位工程师
系统平台:Redhat Linux, pc server
开发语言和相关技术:Java, NAS(iPlanet Application Server), Informix

开发Java版网上购物系统,使用NAS应用服务和Informix数据库进行开发,负责后台管理系统的设计和开发,后因NAS稳定性问题中止项目。





posted on 2005-10-24 14:26 Javen-Studio 阅读(1388) 评论(0)  编辑 收藏 引用