AI数据预处理：文本向量化技术 文本向量化是将非结构化的文本数据转化为计算机可处理的数值向量的关键技术，为自然语言处理（NLP）任务奠定基础其核心目标是保留语义信息并适配机器学习算法，以下从技术原理到实践应用展开分析：

一、基础表示方法 One-Hot编码

原理：构建词汇表，每个词对应一个唯一索引文本表示为二进制向量，维度等于词汇表大小，出现单词的位置置 局限： 高维稀疏（90%以上元素为0），计算效率低 无法捕捉语义关系（如“猫”与“狗”的相似性） 词袋模型（Bag of Words, BoW）

在One-Hot基础上统计词频（TF），生成频率向量 示例代码： from sklearn.feature_extraction.text import CountVectorizer corpus = [“我是一名程序员”, “程序员编写代码”] vectorizer = CountVectorizer() X = vectorizer.fit_transform(corpus) # 输出词频矩阵 二、统计加权方法：TF-IDF 原理：综合词频（TF）与逆文档频率（IDF），降低常见词权重，突出关键特征 TF：词在当前文档的频率 IDF：log(总文档数/包含该词的文档数)，衡量词的全局区分度 优势：缓解高频无意义词（如“的”“是”）的干扰，提升分类、检索效果 三、深度表示方法：语义向量化 Word2Vec

通过神经网络学习词的分布式表示： CBOW：用上下文预测当前词 Skip-gram：用当前词预测上下文 输出：低维稠密向量（如300维），相似词向量几何距离接近 预训练语言模型（如BERT）

基于Transformer的上下文感知模型，生成动态词向量： 同一词在不同语境中向量不同（如“苹果”在水果vs.公司场景） 支持句子级向量化，直接获取整句语义表示 四、相似度计算与检索应用 相似度度量： 余弦相似度：计算向量夹角余弦值，范围[-1,1]，值越大越相似 欧氏距离：向量空间直线距离，值越小越相似 代码示例： import numpy as np def cosine_similarity(vec1, vec2):

return np.dot(vec1,  vec2) / (np.linalg.norm(vec1)  * np.linalg.norm(vec2)) 

示例：计算两句子向量相似度

vec1 = np.array([0.2, 0.8, -0.1]) vec2 = np.array([0.3, 0.7, 0.05]) print(cosine_similarity(vec1, vec2)) # 输出接近1.0表示高相似 语义检索： 向量化后建立索引库，用户查询时召回相似度最高的Top-K结果（如RAG系统） 五、挑战与优化方向 语义鸿沟问题

基础方法（如One-Hot）无法解决一词多义或同义词问题，需依赖上下文模型 长文本处理

解决方案： 文本分片（Chunking），按语义段落切割 层次化向量化（先句子向量，再聚合为文档向量） 多语言与领域适配

通用模型在专业领域（医学、法律）表现不佳，需结合领域数据微调 六、总结 文本向量化从早期的统计模型演进至深度语义表示，解决了高维稀疏、语义缺失等关键问题未来趋势包括：

多模态向量化（文本+图像/音频） 轻量化模型适配边缘计算 自适应分片技术提升长文本处理效率 通过持续优化，向量化技术将成为构建高效AI系统的核心支柱，推动语义理解迈向更高精度

本文核心方法代码均通过Python主流库（scikit-learn, numpy）实现，可直接复用于实际项目