also darf ich präsentieren, das hier ist ein demo eines absolut cloud-freiem chatbots.
das ding, das hier antwortet, steht auf meinem schreibtisch! es ist eine sehr alter langsamer computer.
aber, und hier ist der catch, wenn wir da einen schnellen dahin stellen, dann können wir erstens
sehr viel schlauere modelle verwenden und zweitens geht alles noch viel schneller. sie werden merken, dass die antworten dieses chatbots relativ stupide sind, was damit zusammenhängt, dass das verwendete modell „microsoft phi3“ (mit licence) nicht der hellste stern unter den sprachmodellen ist. die maschine, die das nicht aus der cloud ausführt, ist halt mittlerweile 14 jahre alt.