Parcourir la source

feat: add support Spark4.0 (#5688)

呆萌闷油瓶 il y a 9 mois
Parent
commit
68ac433218

+ 4 - 0
api/core/model_runtime/model_providers/spark/llm/_client.py

@@ -38,6 +38,10 @@ class SparkLLMClient:
             'spark-3.5': {
                 'version': 'v3.5',
                 'chat_domain': 'generalv3.5'
+            },
+            'spark-4': {
+                'version': 'v4.0',
+                'chat_domain': '4.0Ultra'
             }
         }
 

+ 1 - 0
api/core/model_runtime/model_providers/spark/llm/_position.yaml

@@ -1,3 +1,4 @@
+- spark-4
 - spark-3.5
 - spark-3
 - spark-1.5

+ 1 - 1
api/core/model_runtime/model_providers/spark/llm/spark-1.5.yaml

@@ -28,6 +28,6 @@ parameter_rules:
     min: 1
     max: 6
     help:
-      zh_Hans: 从 k 个候选中随机选择⼀个(⾮等概率)。
+      zh_Hans: 从 k 个候选中随机选择一个(非等概率)。
       en_US: Randomly select one from k candidates (non-equal probability).
     required: false

+ 1 - 1
api/core/model_runtime/model_providers/spark/llm/spark-2.yaml

@@ -29,6 +29,6 @@ parameter_rules:
     min: 1
     max: 6
     help:
-      zh_Hans: 从 k 个候选中随机选择⼀个(⾮等概率)。
+      zh_Hans: 从 k 个候选中随机选择一个(非等概率)。
       en_US: Randomly select one from k candidates (non-equal probability).
     required: false

+ 1 - 1
api/core/model_runtime/model_providers/spark/llm/spark-3.5.yaml

@@ -28,6 +28,6 @@ parameter_rules:
     min: 1
     max: 6
     help:
-      zh_Hans: 从 k 个候选中随机选择⼀个(⾮等概率)。
+      zh_Hans: 从 k 个候选中随机选择一个(非等概率)。
       en_US: Randomly select one from k candidates (non-equal probability).
     required: false

+ 1 - 1
api/core/model_runtime/model_providers/spark/llm/spark-3.yaml

@@ -28,6 +28,6 @@ parameter_rules:
     min: 1
     max: 6
     help:
-      zh_Hans: 从 k 个候选中随机选择⼀个(⾮等概率)。
+      zh_Hans: 从 k 个候选中随机选择一个(非等概率)。
       en_US: Randomly select one from k candidates (non-equal probability).
     required: false

+ 33 - 0
api/core/model_runtime/model_providers/spark/llm/spark-4.yaml

@@ -0,0 +1,33 @@
+model: spark-4
+label:
+  en_US: Spark V4.0
+model_type: llm
+model_properties:
+  mode: chat
+parameter_rules:
+  - name: temperature
+    use_template: temperature
+    default: 0.5
+    help:
+      zh_Hans: 核采样阈值。用于决定结果随机性,取值越高随机性越强即相同的问题得到的不同答案的可能性越高。
+      en_US: Kernel sampling threshold. Used to determine the randomness of the results. The higher the value, the stronger the randomness, that is, the higher the possibility of getting different answers to the same question.
+  - name: max_tokens
+    use_template: max_tokens
+    default: 4096
+    min: 1
+    max: 8192
+    help:
+      zh_Hans: 模型回答的tokens的最大长度。
+      en_US: 模型回答的tokens的最大长度。
+  - name: top_k
+    label:
+      zh_Hans: 取样数量
+      en_US: Top k
+    type: int
+    default: 4
+    min: 1
+    max: 6
+    help:
+      zh_Hans: 从 k 个候选中随机选择一个(非等概率)。
+      en_US: Randomly select one from k candidates (non-equal probability).
+    required: false