Streaming Client
This commit is contained in:
@@ -7,7 +7,7 @@ import org.springframework.stereotype.Component;
|
||||
* @see https://ai.google.dev/gemma/docs/core/prompt-structure
|
||||
*/
|
||||
@Component
|
||||
public class Gemma2PromptStrategy implements PromptStrategy {
|
||||
public class GemmaPromptStrategy implements PromptStrategy {
|
||||
|
||||
@Override
|
||||
public StringBuilder start(final String system, final String user) {
|
||||
@@ -37,7 +37,7 @@ public class Gemma2PromptStrategy implements PromptStrategy {
|
||||
|
||||
@Override
|
||||
public String getPromptName() {
|
||||
return "gemma2";
|
||||
return "gemma";
|
||||
}
|
||||
|
||||
}
|
||||
40
src/main/java/de/extio/lmlib/prompt/NoPromptStrategy.java
Normal file
40
src/main/java/de/extio/lmlib/prompt/NoPromptStrategy.java
Normal file
@@ -0,0 +1,40 @@
|
||||
package de.extio.lmlib.prompt;
|
||||
|
||||
import org.springframework.stereotype.Component;
|
||||
|
||||
@Component
|
||||
public class NoPromptStrategy implements PromptStrategy {
|
||||
|
||||
@Override
|
||||
public String getPromptName() {
|
||||
return "noop";
|
||||
}
|
||||
|
||||
@Override
|
||||
public StringBuilder start(final String system, final String user) {
|
||||
final var sb = new StringBuilder();
|
||||
if (system != null && !system.isBlank()) {
|
||||
sb.append(system);
|
||||
}
|
||||
if (system != null && !system.isBlank() && user != null && !user.isBlank()) {
|
||||
sb.append("\n");
|
||||
}
|
||||
if (user != null && !user.isBlank()) {
|
||||
sb.append(user);
|
||||
}
|
||||
return sb;
|
||||
}
|
||||
|
||||
@Override
|
||||
public void next(final StringBuilder prompt, final String assistant, final String user) {
|
||||
prompt.append(assistant);
|
||||
prompt.append("\n");
|
||||
prompt.append(user);
|
||||
}
|
||||
|
||||
@Override
|
||||
public String removeEOT(final String prompt) {
|
||||
return prompt;
|
||||
}
|
||||
|
||||
}
|
||||
Reference in New Issue
Block a user