realtime-twitter-search
Download as key, pdf16 likes3,041 views
本文档讨论了微博实时搜索的实现，主要涵盖了近实时搜索的技术细节，包括增量段存储、可中断查询和并发编程。重点介绍了尝耻肠别苍别和窜辞颈别的应用，提出了在实时搜索中常遇到的问题及其解决方案。最后总结了如何通过双向链表和智能搜索算法来提高查询效率和数据一致性。
realtime-twitter-search
- 1. 微博实时搜索 xuanxi@mogujie.com 汪亚军
- 4. Lucene segment segment 1 segment 2 segment 3 Map mergepolicy Reduce segment
- 5. Lucene 近实时搜索 IndexWriter.setRAMBufferSizeMB() 设置ram buffer大小 LUCENE-843 IndexWriter.getReader() 将ram buffer刷回 RamDir 但不Commit LUCENE-1516 LUCENE-843 VS LUCENE-1516
- 6. Zoie 由linkedin 发并 源 提供一个在lucene之上的封装保证实时性 快速doci<=>uid双向对应方案
- 7. zoie Mem A + Disk Mem A + new Disk 1,Mem A 添加文档立刻更新的 1,Mem A 添加文档立刻更新的 2,Disk在下次合并之前，一直使用 2, 使用前面Mem A和Disk合并好 的 new Disk Mem A +Mem B+ Disk 1,Mem B 添加文档立刻更新的 2,Mem A 只读 与Disk合并 2,Disk 无变化 与Mem A合并
- 8. Zoie RAM IndexWriter 定时reopen有效 10s reopen一次 Disk缓存中docId<=>Object_id 对 应不对 都必须重建一次 fav:{ 100 to 1000} 这是个灾难 查询千万级 的数据 耗时在100ms级 (no cache)
- 12. 可增量倒排索引 textpointe frequency startPostingsPotine endPostingsPotiner a r r b c parralle d int arrays ... ... Term x 字典 y z
- 13. 可增量倒排索引 textpointe frequency startPostingsPotiner endPostingsPotiner a r b c d ... ... x y z PostingListStore
- 14. 可增量倒排索引 textpointe frequency startPostingsPotiner endPostingsPotiner a r b c d ... ... x 从新向旧遍历的倒排索引 y z PostingListStore
- 15. Lucene 倒排压缩算法
- 16. 可增量倒排索引 textpointe frequency startPostingsPotiner endPostingsPotiner a r b lucene c 的压缩算法无法从新向旧搜索 d 文档 ... ... x 从新向旧遍历的倒排索引 y z PostingListStore
- 17. PostingListStore docId position (twitter 1-140 < 255 )
- 18. PostingListStore docId position (twitter 1-140 < 255 ) (docId <<8 ) | (position&0xFF)
- 19. PostingListStore 无压缩 通过位置信息和docId存储在一个int里面 少内 存 销
- 20. PostingListStore int pool auto expand zero copy (do not like array)
- 21. PostingListStore
- 23. PostingListStore 单个Term的PostingList的所有Slice组成一个双向链表 prepointer data ... ... data nextpointer
- 24. PostingListStore 单个Term的PostingList的所有Slice组成一个双向链表 prepointer data ... ... data nextpointer 双向链表的好处?
- 25. 可增量倒排索引
- 26. 可中断查询 我们最 心最近有更新的前n条数据 从新向老查询 超时立马返回(HashedWheelTimer)
- 27. 智能二分查找算法 依次从新向旧找 记录上次二分查找时候各位置数据 对当前查找做智能直到 skipList search + smart search + binary search
- 28. 总结 中断查询 + 从新查找PostingStore = 实时搜索
- 30. Writer AND Reader v = 100; thread a write v = 101; thread b read v => 100; 数据一致性 java并不能保证a写了就立马能被b 看到 Lock Free
- 31. Java Memory Model happen before volatile memory barrier volatile 只能保证之前写的越过内存障碍*
- 32. 内存屏障 PostingStore越过内存屏障 => 从Term的 PostingList 始指针向新查找
- 33. 内存屏障 单个Term的PostingList的所有Slice组成一个双向链表 prepointer data ... ... data nextpointer 双向链表的好处
- 34. reader 数据一致性
- 35. 版本号
- 37. Jessica 2.0 jessica 负责索引 jessica monica负责打分排序 feeder monica jessica feeder负责分词 jessica