@@ -692,28 +692,28 @@ Output your evaluation in the following JSON format:
692692</details >
693693
694694### Overall Performance Table
695- | | ** Agriculture** | | ** CS** | | ** Legal** | | ** Mix** | |
695+ | | ** Agriculture** | | ** CS** | | ** Legal** | | ** Mix** | |
696696| ----------------------| -------------------------| -----------------------| -----------------------| -----------------------| -----------------------| -----------------------| -----------------------| -----------------------|
697- | | NaiveRAG | ** LightRAG** | NaiveRAG | ** LightRAG** | NaiveRAG | ** LightRAG** | NaiveRAG | ** LightRAG** |
698- | ** Comprehensiveness** | 32.69 % | ** 67.31 %** | 35.44 % | ** 64.56 %** | 19.05 % | ** 80.95 %** | 36.36 % | ** 63.64 %** |
699- | ** Diversity** | 24.09 % | ** 75.91 %** | 35.24 % | ** 64.76 %** | 10.98 % | ** 89.02 %** | 30.76 % | ** 69.24 %** |
700- | ** Empowerment** | 31.35 % | ** 68.65 %** | 35.48 % | ** 64.52 %** | 17.59 % | ** 82.41 %** | 40.95 % | ** 59.05 %** |
701- | ** Overall** | 33.30 % | ** 66.70 %** | 34.76 % | ** 65.24 %** | 17.46 % | ** 82.54 %** | 37.59 % | ** 62.40 %** |
702- | | RQ-RAG | ** LightRAG** | RQ-RAG | ** LightRAG** | RQ-RAG | ** LightRAG** | RQ-RAG | ** LightRAG** |
703- | ** Comprehensiveness** | 32.05 % | ** 67.95 %** | 39.30 % | ** 60.70 %** | 18.57 % | ** 81.43 %** | 38.89 % | ** 61.11 %** |
704- | ** Diversity** | 29.44 % | ** 70.56 %** | 38.71 % | ** 61.29 %** | 15.14 % | ** 84.86 %** | 28.50 % | ** 71.50 %** |
705- | ** Empowerment** | 32.51 % | ** 67.49 %** | 37.52 % | ** 62.48 %** | 17.80 % | ** 82.20 %** | 43.96 % | ** 56.04 %** |
706- | ** Overall** | 33.29 % | ** 66.71 %** | 39.03 % | ** 60.97 %** | 17.80 % | ** 82.20 %** | 39.61 % | ** 60.39 %** |
707- | | HyDE | ** LightRAG** | HyDE | ** LightRAG** | HyDE | ** LightRAG** | HyDE | ** LightRAG** |
708- | ** Comprehensiveness** | 24.39 % | ** 75.61 %** | 36.49 % | ** 63.51 %** | 27.68 % | ** 72.32 %** | 42.17 % | ** 57.83 %** |
709- | ** Diversity** | 24.96 % | ** 75.34 %** | 37.41 % | ** 62.59 %** | 18.79 % | ** 81.21 %** | 30.88 % | ** 69.12 %** |
710- | ** Empowerment** | 24.89 % | ** 75.11 %** | 34.99 % | ** 65.01 %** | 26.99 % | ** 73.01 %** | ** 45.61% ** | ** 54.39 %** |
711- | ** Overall** | 23.17 % | ** 76.83 %** | 35.67 % | ** 64.33 %** | 27.68 % | ** 72.32 %** | 42.72 % | ** 57.28 %** |
712- | | GraphRAG | ** LightRAG** | GraphRAG | ** LightRAG** | GraphRAG | ** LightRAG** | GraphRAG | ** LightRAG** |
713- | ** Comprehensiveness** | 45.56 % | ** 54.44 %** | 45.98 % | ** 54.02 %** | 47.13 % | ** 52.87 %** | ** 51.86 %** | 48.14 % |
714- | ** Diversity** | 19.65 % | ** 80.35 %** | 39.64 % | ** 60.36 %** | 25.55 % | ** 74.45 %** | 35.87 % | ** 64.13 %** |
715- | ** Empowerment** | 36.69 % | ** 63.31 %** | 45.09 % | ** 54.91 %** | 42.81 % | ** 57.19 %** | ** 52.94 %** | 47.06 % |
716- | ** Overall** | 43.62 % | ** 56.38 %** | 45.98 % | ** 54.02 %** | 45.70 % | ** 54.30 %** | ** 51.86 %** | 48.14 % |
697+ | | NaiveRAG | ** LightRAG** | NaiveRAG | ** LightRAG** | NaiveRAG | ** LightRAG** | NaiveRAG | ** LightRAG** |
698+ | ** Comprehensiveness** | 32.4 % | ** 67.6 %** | 38.4 % | ** 61.6 %** | 16.4 % | ** 83.6 %** | 38.8 % | ** 61.2 %** |
699+ | ** Diversity** | 23.6 % | ** 76.4 %** | 38.0 % | ** 62.0 %** | 13.6 % | ** 86.4 %** | 32.4 % | ** 67.6 %** |
700+ | ** Empowerment** | 32.4 % | ** 67.6 %** | 38.8 % | ** 61.2 %** | 16.4 % | ** 83.6 %** | 42.8 % | ** 57.2 %** |
701+ | ** Overall** | 32.4 % | ** 67.6 %** | 38.8 % | ** 61.2 %** | 15.2 % | ** 84.8 %** | 40.0 % | ** 60.0 %** |
702+ | | RQ-RAG | ** LightRAG** | RQ-RAG | ** LightRAG** | RQ-RAG | ** LightRAG** | RQ-RAG | ** LightRAG** |
703+ | ** Comprehensiveness** | 31.6 % | ** 68.4 %** | 38.8 % | ** 61.2 %** | 15.2 % | ** 84.8 %** | 39.2 % | ** 60.8 %** |
704+ | ** Diversity** | 29.2 % | ** 70.8 %** | 39.2 % | ** 60.8 %** | 11.6 % | ** 88.4 %** | 30.8 % | ** 69.2 %** |
705+ | ** Empowerment** | 31.6 % | ** 68.4 %** | 36.4 % | ** 63.6 %** | 15.2 % | ** 84.8 %** | 42.4 % | ** 57.6 %** |
706+ | ** Overall** | 32.4 % | ** 67.6 %** | 38.0 % | ** 62.0 %** | 14.4 % | ** 85.6 %** | 40.0 % | ** 60.0 %** |
707+ | | HyDE | ** LightRAG** | HyDE | ** LightRAG** | HyDE | ** LightRAG** | HyDE | ** LightRAG** |
708+ | ** Comprehensiveness** | 26.0 % | ** 74.0 %** | 41.6 % | ** 58.4 %** | 26.8 % | ** 73.2 %** | 40.4 % | ** 59.6 %** |
709+ | ** Diversity** | 24.0 % | ** 76.0 %** | 38.8 % | ** 61.2 %** | 20.0 % | ** 80.0 %** | 32.4 % | ** 67.6 %** |
710+ | ** Empowerment** | 25.2 % | ** 74.8 %** | 40.8 % | ** 59.2 %** | 26.0 % | ** 74.0 %** | 46.0% | ** 54.0 %** |
711+ | ** Overall** | 24.8 % | ** 75.2 %** | 41.6 % | ** 58.4 %** | 26.4 % | ** 73.6 %** | 42.4 % | ** 57.6 %** |
712+ | | GraphRAG | ** LightRAG** | GraphRAG | ** LightRAG** | GraphRAG | ** LightRAG** | GraphRAG | ** LightRAG** |
713+ | ** Comprehensiveness** | 45.6 % | ** 54.4 %** | 48.4 % | ** 51.6 %** | 48.4 % | ** 51.6 %** | ** 50.4 %** | 49.6 % |
714+ | ** Diversity** | 22.8 % | ** 77.2 %** | 40.8 % | ** 59.2 %** | 26.4 % | ** 73.6 %** | 36.0 % | ** 64.0 %** |
715+ | ** Empowerment** | 41.2 % | ** 58.8 %** | 45.2 % | ** 54.8 %** | 43.6 % | ** 56.4 %** | ** 50.8 %** | 49.2 % |
716+ | ** Overall** | 45.2 % | ** 54.8 %** | 48.0 % | ** 52.0 %** | 47.2 % | ** 52.8 %** | ** 50.4 %** | 49.6 % |
717717
718718## Reproduce
719719All the code can be found in the ` ./reproduce ` directory.
0 commit comments