本文共 1085 字,大约阅读时间需要 3 分钟。
简单的数据词频统计方法
在实际开发中,我们常需要对文本数据进行词频统计,这可以帮助我们快速了解文本中各个关键词的出现频率。本文将介绍两种常见的词频统计方法:一种适用于中文文本,另一种适用于英文文本。
中文词频统计
以下是实现中文词频统计的完整代码示例:
import stringtext = "http request highclient springboot request"data = text.lower().split()words = {}for word in data: if word not in words: words[word] = 1 else: words[word] += 1result = sorted(words.items(), key=lambda x: x[1], reverse=True)print(result) 运行该代码,可得以下结果:
[('springboot', 1), ('request', 2), ('http', 1), ('highclient', 1)] 英文词频统计
以下是实现英文词频统计的完整代码示例,基于瓦登尔湖这本书籍:
import stringpath = 'D:/python3/Walden.txt'with open(path, 'r', encoding='utf-8') as text: words = [raw_word.strip(string.punctuation).lower() for raw_word in text.read().split()]counts = {}for word in words: counts[word] = counts.get(word, 0) + 1sorted_words = sorted(counts.items(), key=lambda x: x[1], reverse=True)for word, count in sorted_words: print(f"{word} -- {count} times") 运行该代码,可得以下结果:
highclient -- 1 timethe -- 21 timesand -- 16 timesto -- 16 timesis -- 14 times... (以下其他词频统计结果)
以上代码和分析方法可以帮助我们快速统计不同语言文本中的关键词频率。在实际应用中,可以根据需要调整统计方式和排序规则。
转载地址:http://phcuz.baihongyu.com/