导语:AI 训练所需的数据成本高昂,但却更适合资金充裕的科技公司。
IT之家 12 月 13 日消息,据 TechCrunch 12 日报道,哈佛大学与谷歌宣布,联合发布 100 万本公共领域书籍作为 AI 训练数据集。
AI 训练所需的数据成本高昂,但却更适合资金充裕的科技公司。因此,哈佛大学计划发布一个包含约 100 万本公共领域书籍的数据集,这些书籍覆盖多种类型、语言和作者,包括已不再受版权保护的经典作家如狄更斯、但丁和莎士比亚等,因这些作品的版权已随时间过期。
图源 Pexels
虽然这个新数据集尚未公开,也不清楚具体的发布方式和时间,但它来源于谷歌的长期项目 —— 谷歌图书(Google Books)。因此,谷歌将参与这次“宝贵财富”的广泛发布。
据IT之家了解,早在今年 3 月,哈佛大学就曾透露其“机构数据计划(IDI)”,并表示这一计划旨在为 AI 提供“合法数据的可信通道”。直到正式启动后,该计划才确认得到了微软和 OpenAI 的资金支持。
IDI 的执行董事格雷格?莱佩特(Greg Leppert)表示,该数据集的目标是“让竞争环境更加公平”,通过向包括研究机构和 AI 初创公司在内的各类机构开放这一庞大的数据集,以帮助他们训练大型语言模型。