AI 真的 “理解” 语言吗?
你有没有和智能助手聊过天,或者让它帮你回答问题?它们似乎能 “懂” 我们的意思,但事实并非如此。AI 并不像人类一样真正理解语言,它主要通过复杂的统计模型,在海量文本中学习字词之间的搭配规律。
AI 处理中文时,通常以 “词” 为单位进行分析,即分词。它依赖一个从大数据中学习到的 “词得分表”,该表将每个词的出现规律转换为数值(分数越高,表示该词出现的可能性越大)。分词时,AI 会利用这个表,通过计算寻找一句话中最可能的词语组合方式。
现有以下 “词得分表”,请你化身 “语言统计员”,体验 AI 是如何完成中文分词的。

待分词的文本是:南京市长江大桥。
你有没有和智能助手聊过天,或者让它帮你回答问题?它们似乎能 “懂” 我们的意思,但事实并非如此。AI 并不像人类一样真正理解语言,它主要通过复杂的统计模型,在海量文本中学习字词之间的搭配规律。
AI 处理中文时,通常以 “词” 为单位进行分析,即分词。它依赖一个从大数据中学习到的 “词得分表”,该表将每个词的出现规律转换为数值(分数越高,表示该词出现的可能性越大)。分词时,AI 会利用这个表,通过计算寻找一句话中最可能的词语组合方式。
现有以下 “词得分表”,请你化身 “语言统计员”,体验 AI 是如何完成中文分词的。
待分词的文本是:南京市长江大桥。
答案
分词结果为“南京 市 长江 大桥”,总得分是-59。
解析
首先明确待分词文本为“南京市长江大桥”,需依据给定的词得分表,选择仅包含表中词语的分词组合,计算各组合的总得分(得分越高即数值越大,越符合分词要求)。可能的分词组合中,“南京、市、长江、大桥”均为表中存在的词语,其总得分计算为:-12 + (-25) + (-10) + (-12) = -59,其他符合要求的分词组合得分均低于该值,因此该组合为最可能的分词结果。
1. AI分词将逐步进行,每次都选择累计得分更高的切分方式。请按照以下步骤,模拟AI通过计算进行分词的过程,完成填空。
(1)从第一个字“南”开始,检查“南”:“南”是-10,此时的切分结果为[‘南’]。
(2)加入“京”,检查:“南”+“京”是
(3)加入“市”,检查:“南”+“京”+“市”是
(4)加入“长”,检查:“市”+“长”是
(5)加入“江”,检查:“市”+“长”+“江”是
(6)继续向后检查“大”和“桥”,按照同样的逻辑选择最优切分方式。
(7)最终切分结果为:
(1)从第一个字“南”开始,检查“南”:“南”是-10,此时的切分结果为[‘南’]。
(2)加入“京”,检查:“南”+“京”是
-30
,而“南京”是-12,所以结果改为[‘南京’]。(3)加入“市”,检查:“南”+“京”+“市”是
-55
,而“南京”+“市”是-37
,所以结果为[‘南京’,‘市’]。(4)加入“长”,检查:“市”+“长”是
-37
,而“市长”是-20,所以结果改为[‘南京’,‘市长’]。(5)加入“江”,检查:“市”+“长”+“江”是
-67
,“市长”+“江”是-50
,而“市”+“长江”是-35
,所以结果改为[‘南京’,‘市’,‘长江’]。(6)继续向后检查“大”和“桥”,按照同样的逻辑选择最优切分方式。
(7)最终切分结果为:
['南京', '市', '长江', '大桥']
答案
1. (2)-30
(3)-55 -37
(4)-37
(5)-67 -50 -35
(7)[ '南京', '市', '长江', '大桥' ]
(3)-55 -37
(4)-37
(5)-67 -50 -35
(7)[ '南京', '市', '长江', '大桥' ]
登录