京东物流信息技术基本情况
在大学的课本上,我们知道物流按照承担方的不同可以分为,第一方物流,第二方物流,第三方物流。
其中,第一方物流主要是生产型企业组建的物流,第二方物流主要是贸易型企业组建的物流,第三方物流指的是独立于生产型企业和贸易型企业之外的,面向市场提供专业化物流服务的物流企业。
我们大家拿顺丰和京东物流来做个简单的匹配,你会发现,京东物流在起步时,主要是服务于自家京东商城的业务,而京东商城是依托互联网的贸易型企业,所以,早期的京东物流,其商业基因就属于第二方物流;
咱们再来看顺丰,从起步时,就是纯粹提供物流服务的,所以,其商业基因属于第三方物流。第一方物流的代表,比如美的集团旗下的安得物流。
京东物流的特点
顺丰,所提供的物流服务,尤其是快递,其流向是:端到端。
怎么理解呢?就比如说,我在天津,要寄件到上海,那么,我在寄件时,快递一定是先会进入到离我最近的那个顺丰的末端快递网点,然后通过中间的几大环节,最终会流向到上海那个距离收件人最近的末端快递网点,然后由快递员进行配送。大家可以简单地这么理解。
京东物流,所提供的物流服务,其流向是:仓到端。
我们从京东商城上下单,通常下单完成后,订单会就近分配给距离收货人最近的京东仓库,由仓库开始分拣,然后再发运,最后会进入到离我最近的末端网点,然后由快递员进行配送,最后我会s收到网购的商品。
京东物流的特点
自动化仓库 京东物流已经在全国范围内建立了多个自动化仓库,通过采用先进的仓储管理系统和机器人技术,实现了仓库的自动化管理。这种自动化仓库不仅可以提高仓储效率,减少人工成本,还可以提高仓库的空间利用率和货物准确性。 智能配送 京东物流通过应用大数据、人工智能等技术,实现了智能配送。智能配送系统可以根据客户的需求、地址等信息,自动规划配送路线和时间,提高配送效率。此外,智能配送系统还可以通过实时跟踪配送员的位置和状态,确保配送的质量和安全。 无人仓和无人机送货 京东物流还在积极探索无人仓和无人机送货等前沿技术。无人仓可以通过自动化存储和机器人搬运等技术,实现仓库的无人化管理和操作。无人机送货则可以通过无人机运输技术,将货物直接送达客户手中,提高配送效率和质量。
京东物流的特点
实时数据要想体现业务价值,最终还需要业务研发方进行计算和分析。 京东内部主流的实时计算平台是JRC 计算平台,该平台脱胎于早期的Storm 版本,由平台研发进行了深度的改造和产品化,实现了业务研发用户完全的Web 产品任务管理和监控的需求,同时整合了JDQ 数据来源,实现了用户在数据计算平台的无缝对接实时数据。本次618 达到 万亿次日处理次数。
2017 年618,JRC 基于容器的新架构已经开始支撑部分线上业务,未来容器化的JRC 方案会进一步提高Storm 平台的稳定性和资源利用率。JRC 架构图如图。
该方案的特点如下:
① 通过Kubernetes 实现Topology 执行节点的容器化, 资源随用随申请,提高资源利用率。
② 通过Kubernetes 和二级调度的方案,把Topology 调度逻辑放在Kubernetes 层面和Topology 内部,提高了调度的效率,避免了不同Topology 之间的干扰。
③心跳只在Timbus 和Topology Master 以及Topology Master 和Worker 之间进行,避免了传统方案任务量大时的心跳压力。
由于实时计算的场景多样,针对不同场景业内提出了多个流行的计算框架。目前京东内部实时计算的场景也趋于多样,我们平台已经开始在线上正式提供Spark Streaming 和Flink 等多种计算框架的产品化服务。
由于实时计算程序必须由程序代码进行开发,对于传统离线业务,SQL 研发人员进行离线需求转实时还有较高的门槛,我们平台正在进行SQL 形式和拖曳形式的实时计算产品化研发工作。该方案上线后,将进一步帮助业务方把离线数据处理需求转移到实时数据处理上,帮助京东的业务更快速地服务于广大的用户和商家。
目前京东实时数据解决方案整套流程已经接入了线上的上千张业务表数据流和数百个业务日志数据流,覆盖京东内部所有核心业务系统和大部分实时处理业务,主要面向京东内部各个业务部门的个性化推荐、秒杀、实时运营、商家报表等。未来,离线数据处理需求会越来越多地迁移到实时数据处理上。
具体介绍;
在京东大数据平台中有多个物理集群、十几个集群应用软件、十几个大 数据产品、三十多个数据集市、六千多个平台用户,日运行job 数量超过40 万,日计算数据量超过15PB。在如此庞大的业务场景、海量数据计算、复杂数据处理流程的场景下,一个高效实用的大数据离线平台显得尤为重要。
为此,我们对大数据平台建设以来支持的各类业务服务,大数据平台自身的升级与运维技术工作进行了梳理分析,对大数据平台从前端服务到后台技术进行了整体服务框架设计。完成了从多出口的臃肿服务到统一服务管理、自助化服务管理、自动化服务实现的有机“瘦身运动”,大数据平台服务时效得到了几倍乃至几十倍的提升。
大数据平台已经实现了海量数据的实时与离线计算,同时也达到高并发、高容错、高扩展、低成本的集团发展需要。同时,在保证现有大数据平台稳定的基础上,通过与京东集市三十多个业务集市的深入接触沟通,在业务发展基础上,结合最新、最适合的前沿技术,不断提高大数据平台的业务实现范围、大数据平台技术创新(如异构集群、多引擎支持、即席查询、多维分析、登月平台等)、大数据平台更好的运营管控机制(如大数据平台运营规范、数据仓库与集市建设规范、运营值班方案、流程中心等),不断满足京东业务高速发展对未来大数据平台的技术需要,实现京东战略价值目标。