电商多模态数据是什么?数据匹配方法主要有两种( 三 )





2L-伯特+IMG



70.31%



0.7836



2L-时尚伯特



72.47%



0.8018



2L-fashionBert(VSL)



72.43%



0.8009



目前,该论文已被信息检索领域的顶级国际会议SIGIR20IndustryTrack收录 。预印本可以在这里找到:https://arxiv.org/abs/2005.09801.感兴趣的学生可以阅读我们的论文进行更详细的比较 。
后续规划
虽然图文匹配的方向已经研究了很久,但是基于预训练BERT的方法仍然方兴未艾 。后续,我们计划在四个方面进一步优化:
图像的多尺度变化:多幅图像做多尺度变化,获得不同尺度下图像的细粒度特征 。
文本和图像对齐:在预训练过程中引入其他信息或其他方法来对齐文本标记和图像区域 。
行业知识介绍:介绍行业知识,学习不同行业的图形匹配模型 。
视频理解:做文本、图像、视频的多模态理解 。
相信基于BERT强大的拟合能力,多模态信息的匹配融合会越来越智能 。
最后我想说的是,我们招人!我所在的部门是新零售技术事业群,主要负责Alibaba.com网站和app的搜索、推荐、商品等领域相关的算法工作 。非常期待有机器学习/自然语言处理/图像处理/数据挖掘背景的同学加入 。有兴趣的同学可以把简历发到我的邮箱,dehong.gdh@alibaba-inc.com 。
贾杨青现场分享
人工智能算法和系统的进化
贾原AI建筑系主任,GoogleBrain研究科学家,Caffe之父,TensorFlow作者之一,加州大学柏克莱分校计算机科学博士 。通过此次分享,介绍了近年来人工智能的算法和相应系统的演进过程,并从技术角度阐述了产品形态和用户场景 。

推荐阅读