关键词库过滤重复求方法

拾光 · 发表于 2022-4-6 22:29:17

那不科学。目前我用的可行只是速度跟不上。。。除非硬件提升

Crystαl · 发表于 2022-4-6 22:29:26

这个玩意实现了。。。我收录至少上涨40%

婷姐 · 发表于 2022-4-6 22:29:50

自己学规则写

婷姐 · 发表于 2022-4-6 22:30:06

那你就用数据库，用Redis

IT618发布 · 发表于 2022-4-6 22:31:05

都这么智能了吗

TyCoding · 发表于 2022-4-6 22:31:16

时间是卡在处理分词上。。。。这和数据库有啥关系。。。

IT618发布 · 发表于 2022-4-6 22:31:30

我觉得应该根据关键词生成内容的代码贴出来才更能突显你的真诚

独家记忆 · 发表于 2022-4-6 22:31:54

这就过分了哈

婷姐 · 发表于 2022-4-6 22:32:49

用gpu运算就不吃内存了

拾光 · 发表于 2022-4-6 22:33:05

本帖最后由小千于 2022-4-6 23:06 编辑

我在github上看到一个无分词，查相关的代码，甚至断词也能匹配，不过需要数据库，不适合用内存。
一句话比如“123456”分成“12 23 34 45 56”用余旋相似度去重

https://github.com/ferrero-zhang/recommend/blob/master/iRecommend4App/src/com/ifeng/iRecommend/zhanzh/Utils/AdjStringsIsSim.java

作用 :
	* 自创的快速近似相似度算法,思路是取相邻词,算交集，求相似度
	* example: 哈尔滨红肠--> [哈尔，尔滨，滨红，红肠]
	* 哈滨红肠-->[哈滨，滨红，红肠]
	* 适用场景：标题近似排重，标题间的微小差异，比如主体结构相同，但相差几个字