Alluxio在湖仓一体和AI的场景落地应用

人浏览 2022-05-17 10:18:25

<背景介绍>

随着新一代人工智能开放创新平台建设推进和不断扩容,人工智能技术与行业场景走向深度融合;存算分离、湖仓一体等技术也已成为大数据市场关注度较高并且开始逐步采用的热点技术。

针对热门话题,本次Alluxio Day活动特别邀请到来自云知声 Atlas 超算平台、Fluid开源项目、bilibili OLAP平台的技术专家,来分享如何结合利用Alluxio应对复杂多样的数据访问挑战。

<活动概况>

【直播时间】4月16日 上午 10:00-11:40

【活动主办】Alluxio

【活动承办】DataFun

【合作伙伴】云知声、Fluid、bilibili

<活动议程>

<议题介绍>

1、bilibili:B站基于lceberg+Alluxio助力湖仓一体项目落地实践

向阿鲲:bilibili OLAP平台 资深开发工程师

负责B站OLAP平台,湖仓一体方向:Iceberg/Trino 内核研发、优化探索实践,智能化管理平台设计、开发,以及业务接入支持、优化等相关工作。

本次将会为大家介绍B站的湖仓一体项目背景、基于Iceberg+Alluxio优化湖仓一体项目架构及落地实践以及未来的规划与发展。

2、Fluid:系统架构与演进之路

顾荣:南京大学副研究员、Fluid开源社区主席、Alluxio开源项目PMC

主要研究方向为云计算与大数据系统、高效缓存/索引系统、边缘计算系统等,主持多项国家基金项目和企业创新项目,共发表学术论文40余篇,参与多项大数据与云计算领域开源项目,研究成果落地于合作企业以及多个开源系统 ,获江苏省科学技术一等奖等。

本次将会给大家介绍Fluid开源项目的发展背景,主要技术架构与概念,典型应用场景案例,以及关于Fluid开源项目未来发展的讨论。

3、云知声:Atlas超算基于Fluid+Alluxio的计算加速实践

吕冬冬:云知声超算平台架构师

负责大规模分布式机器学习平台架构设计与功能演进,负责深度学习算法应用优化与 AI 模型加速。研究领域包括大规模集群调度、高性能计算、分布式文件存储、分布式缓存等。云原生开源社区爱好者。

云知声 Atlas 超算平台作为底层基础架构,支持着公司在 AI 各个领域的模型训练与推理服务的开展。该计算集群可为 AI 计算提供高性能计算和海量数据的存储访问能力。该平台支持主流机器学习架构,开发者能够实现语音、语言、大数据、多模态等核心技术的高效研发。

Atlas 利用 Fluid + Alluxio 提高了平台模型生产效率,本次将会从云知声引入分布式缓存的背景、引入缓存遇到的挑战与解决、如何基于全新的技术进行架构的设计与优化、如何在内部进行推广与生产实践以及平台后续改进点进行分享。

<活动议程>

责任编辑: