Просмотр исходного кода

Fix DisposedError during slow batch embedding (#41)

Christopher Jones 3 месяцев назад
Родитель
Сommit
6d9871d2f5
1 измененных файлов с 1 добавлено и 0 удалено
  1. 1 0
      src/llm.ts

+ 1 - 0
src/llm.ts

@@ -567,6 +567,7 @@ export class LlamaCpp implements LLM {
         texts.map(async (text) => {
         texts.map(async (text) => {
           try {
           try {
             const embedding = await context.getEmbeddingFor(text);
             const embedding = await context.getEmbeddingFor(text);
+            this.touchActivity();  // Keep-alive during slow batches
             return {
             return {
               embedding: Array.from(embedding.vector),
               embedding: Array.from(embedding.vector),
               model: this.embedModelUri,
               model: this.embedModelUri,