Selaa lähdekoodia

fix: anthropic completion error in blocking mode (#591)

John Wang 1 vuosi sitten
vanhempi
commit
eff115267f
1 muutettua tiedostoa jossa 2 lisäystä ja 3 poistoa
  1. 2 3
      api/core/callback_handler/llm_callback_handler.py

+ 2 - 3
api/core/callback_handler/llm_callback_handler.py

@@ -69,9 +69,8 @@ class LLMCallbackHandler(BaseCallbackHandler):
         if not self.conversation_message_task.streaming:
             self.conversation_message_task.append_message_text(response.generations[0][0].text)
             self.llm_message.completion = response.generations[0][0].text
-            self.llm_message.completion_tokens = response.llm_output['token_usage']['completion_tokens']
-        else:
-            self.llm_message.completion_tokens = self.llm.get_num_tokens(self.llm_message.completion)
+
+        self.llm_message.completion_tokens = self.llm.get_num_tokens(self.llm_message.completion)
 
         self.conversation_message_task.save_message(self.llm_message)