通过闵可夫斯基范数进行语言检测：利用字符双字母组合和频率分析识别语言-计算机科学-机器学习-语言检测-统计语言识别-自然语言处理.pdf

通过闵可夫斯基范数进行语言检测：利用字符双字母组合和频

率分析识别语言

Paul-AndreiPogceanSanda-MariaAvram

Babe-BolyaiUniversityBabe-BolyaiUniversity

paul.pogacean@stud.ubbcluj.rosanda.avram@ubbcluj.ro

2025年7月23日

本ABSTRACT

译

中关于语言识别的争论近年来重新引起了关注，特别是随着人工智能驱动的语言模型的迅速发

展。然而，基于非AI的方法在语言识别方面已经被忽视了。本研究探讨了一种通过利用从

1

v现有语言学研究中得出的单字母和双字母频率排名来实现语言确定性的算法的数学实现。所

4使用的数据集包含长度、历史时期和体裁各异的文本，包括短篇小说、童话故事和诗歌。尽

8管存在这些变化，该方法对于少于150个字符的文本准确率超过80%，而对于较长的文本和

2

6较古老的作品则达到了100%的准确率。这些结果表明，基于经典频率的方法仍然是AI驱动

1.模型在语言检测方面的有效且可扩展的替代方案。

7

0Keywordsn-gram，单字词组，双字词组，语言检测，统计语言识别

5

2

:

v

i1介绍

x

r

a语言识别是自然语言处理（NLP）中的基础任务[1]，在机器学习[2]、信息检索[3]和文本分类[4]等领域有

广泛的应用。解决这一任务的方法大致可分为两类：基于AI的方法[5]，如深度学习和神经网络，以及非基

于AI的统计方法[6]。虽然基于AI的技术主导了当前的研究，但它们通常需要大量的训练数据集、显著的计

算资源和复杂的模型管理。

相比之下，利用字符频率、重音符号和双字母组合的统计方法提供了轻量级且易于使用的替代方案。先前的

研究调查了n-gram分类和字符频率分析[7]，但关于重音符号模式利用的研究较少，并且据我们所知，没有

系统地结合这些特征的工作。本文提出了一种新颖的方法，将这些非AI技术集成在一起以提高语言识别的

准确性，特别是对于至少150个字符的文本，同时在具有挑战性的场景中保持鲁棒性。

我们使用四个数据集评估我们的方法：ROST（罗马尼亚故事和传说）数据集[8]、一个多语言的童话集合[9]、

OPUS多语言平行语料库[10]，以及一个诗歌语料库[11]。这些数据集涵盖了多种文本长度、体裁和历史时

期，为语言识别提供了一个全面且多样的测试平台。

本文的其余部分组织如下：

•节2回顾了语言识别的相关工作。

•节3描述了我们的方法论。

APREPRINT-2025年7月23日

•节4呈现了实验结果。

•节5结束并概述了未来的研究方向。

2相关工作

2.1概览

语言检测是计算语言学中一个历史悠久的研究领域[1]，早期的工作主要集中在统计和基于规则的方法上[4,

6]。人工智能（AI）的出现自此改变了这一领域的面貌，使得更加健壮和可扩展的解决方案成为可能[2]。如

今，语言识别支撑着从机器翻译到信息检索等一系列应用。

2.2基于人工智能的方法

现代语言识别系统通常依赖深度学习和大型语言模型。GoogleTranslate和DeepL使用在大规模多语言语料

库上训练的神经架构，即使面对模糊或混合语言输入也能达到高准确率[2,12]。OpenAI的GPT模型作为其

文本理解能力的