Procházet zdrojové kódy

fix: remove empty segment in splitter (#68)

John Wang před 1 rokem
rodič
revize
0587ff0fba
1 změnil soubory, kde provedl 1 přidání a 1 odebrání
  1. 1 1
      api/core/indexing_runner.py

+ 1 - 1
api/core/indexing_runner.py

@@ -343,7 +343,7 @@ class IndexingRunner:
 
 
             # parse document to nodes
             # parse document to nodes
             nodes = node_parser.get_nodes_from_documents([text_doc])
             nodes = node_parser.get_nodes_from_documents([text_doc])
-
+            nodes = [node for node in nodes if node.text is not None and node.text.strip()]
             all_nodes.extend(nodes)
             all_nodes.extend(nodes)
 
 
         return all_nodes
         return all_nodes