在人工智能范畴，“懂言语者得全国”是遍及的一致。其间，可协助人工智能辨认人类言语的自然言语处理（NLP）被誉为人工智能言语“皇冠上的明珠”。
当人工智能自然言语处理技能遇到“要你管和不要你管”“掉地上和掉地下”“我一把把把把住了”等中文“绕口令”，“小意思”“意思意思”等多义词时，及“俺们那疙”“中不中”等方言时，该怎样“听懂”这些“中文十级”语句呢？日前在成都举行的科大讯飞未来科栈活动上，记者采访了相关专家。
能分词会断句 机器尚在尽力
NLP就是机器让核算机来了解和处理人类自然言语的技能，它和核算机视觉、语音处理的差异在于信息处理的类型。
“核算机视觉首要处理图像，语音技能处理声响，而NLP首要是对文字的了解。”云浮科技的创始人兼CEO张文斌说，在人工智能中，语音辨认是耳朵，语音组成是嘴巴，核算机视觉是眼睛，而NLP则担任将笼统的文字符号转化为核算机能了解的言语。
“‘中文十级’的某些语句，人类去了解都有很大难度，何况是核算机。”张文斌说，在白话和书写上，汉字往往没有词与词之间的鸿沟，即使机器能够精确辨认文字，但了解它的意思却很难；再比方各种形形色色的当地口音和方言，也是“绊脚石”。
“自然言语处理一般从最小的语意单位‘词’开端，即分词算法。这最简略，也最成熟。”张文斌说， NLP的算法分为语法等级、语句等级剖析等，其间分词就是将字词切开，让机器理解哪几个字组成一个词，哪几个词组成一句话，然后了解整句、整段的意思。但在“分词”实践的使用过程中，仍有各种问题。
张文斌解说，首先是分词规范不确定、存在歧义，及新词和实体词困扰等问题。如“乒乓球，拍卖完了”和“乒乓球拍，卖完了”无论怎样切分都正确，这就要依靠上下文语境。其次，每年都会涌现出的网络词汇，“神马”“不明觉厉”“佛系”等本来不存在的词也需要核算机了解。
听口气判联系 AI有新招
怎么让机器读懂上下文语境，然后进一步了解整段话的含义？
“咱们会测验使用听人类说话时的停顿信息，作为一种分词算法的辅佐。”讯飞翻译事务担任人翟吉博说。
关于AI工程师们来说，更重要的是深层次的算法，如实体辨认、特点抽取等。“就是把人名、地名、组织名等实体辨认出来后，再抽取实体之间的联系，搞清楚不同实体在语句中的不同特点。”张文斌说，形形色色的算法还有许多，比方情感剖析，剖析文本里边蕴藏了什么样的情感，是正面、负面仍是中性的；文档摘要，把长文生成一两百字简略的摘要等。而根据这些算法层，又能够做许多NLP的衍生使用，包括主动问答、机器翻译等。
那怎么辨认方言呢？在科大讯飞的新款翻译机设备中，初次推出方言翻译功用，完结河南话、东北话、粤语等方言互译，或将之翻译成外语。翟吉博说，针对不同类型方言，机器选用不同翻译流程——对同属北方方言区的河南话、东北话等，可先翻译成普通话再翻译成外语；关于粤语等南边言语，则树立独立的语料库，直接从粤语到外语进行翻译。“考虑到方言中带有许多当地特色的说法、言语、词汇，‘雄起’‘中不中’等也能够作为独立的语料，由机器独自学习。”他说，人工智能的优势是在自然言语处理方面能够不断从用户处堆集语料，学习新的词汇和表达方式，不断完结本身数据库和语料库的更新。
