Просмотр исходного кода

fix web import url is too long (#6402)

Jyong 9 месяцев назад
Родитель
Сommit
f55876bcc5
1 измененных файлов с 5 добавлено и 1 удалено
  1. 5 1
      api/services/dataset_service.py

+ 5 - 1
api/services/dataset_service.py

@@ -845,13 +845,17 @@ class DocumentService:
                         'only_main_content': website_info.get('only_main_content', False),
                         'mode': 'crawl',
                     }
+                    if url.length > 255:
+                        document_name = url[:200] + '...'
+                    else:
+                        document_name = url
                     document = DocumentService.build_document(
                         dataset, dataset_process_rule.id,
                         document_data["data_source"]["type"],
                         document_data["doc_form"],
                         document_data["doc_language"],
                         data_source_info, created_from, position,
-                        account, url, batch
+                        account, document_name, batch
                     )
                     db.session.add(document)
                     db.session.flush()