https://simonwillison.net/2023/Mar/11/llama/
https://simonwillison.net/2023/Mar/13/alpaca/
Simon Willison提到，很快大家都會有自己的ai助手。
看時間軸：
24th February 2023: LLaMA is announced, starts being shared with academic partners:
https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
2nd March: Someone posts a PR with a BitTorrent link to the models:
https://github.com/facebookresearch/llama/pull/73
10th March: First commit to llama.cpp by Georgi Gerganov:
https://github.com/ggerganov/llama.cpp
11th March: llama.cpp now runs the 7B model on a 4GB RaspberryPi:
https://twitter.com/miolini/status/1634982361757790209
12th March: npx dalai llama: https://cocktailpeanut.github.io/dalai/
13th March (today): llama.cpp on a Pixel 6 phone:
https://twitter.com/thiteanish/status/1635188333705043969
And now, Alpaca.
https://crfm.stanford.edu/2023/03/13/alpaca.html

推

看過 沒試過 不過可以看別人的感想ffmpeg參數... 你還是要仔細看文檔

這真的很神，從此regexp都給它寫

看看它能不能正確處理GNU make和舊Android Make的差異make出問題，很多時候其實和shell環境有關，比如突然csh

寫regex會是不錯應用 但指令說實話一堆文檔沒有的文檔沒有的 你也不知道可以這樣用makefile要分析整個專案了makefile可定義選項

而且有人用 4GB RAM 的樹莓派就跑起來了

觀望中 聽說效能不好

pc的效能不錯。RPI是10秒一個token，pc是秒內幾個tokendeclarative的程式，LLM比較會處理。只要補餵正確的資料，android/gnu make都可以分析。最近看好多應用都蠻有趣的當然沒有的功能，問LLM，它會幻想給你，但這是小問題

測了一下web demo時間很久又答非所問還會error...

推推

有沒有哪個 ai 是會分清楚什麼時候該幻想什麼時候不該幻想的

做比較重要的東西時要叫他給出處 多方比較後才採用我想這也是為毛該禁止ai寫stack overflow跟wiki或技術文章 未來整個池子被污染之後可能會根本不知道哪裡是ai自己亂唬爛的

原Po是Google派來的嗎？

可以跑跟跑的好是兩回事

Meta說LLaMA-13B可比GPT3的175B。目前都是最簡單的CPU優化。剛開始Pixel6需要26秒/token前幾天已經5token/秒。各家版本飛速進步中。LLMs的"幻想"是內建，目前沒辦法，只能後續查證。

這些直接問chatGPT就好了，為何要自己弄？

差別在一個是在大公司商用伺服器上，一個則是可以自己用消費型主機搭建。當初 Hadoop 的興盛也是因為可以使用消費型主機作為運算叢集，真的能發展起來的話是很有價值的

推

chatGPT是通用的chat，但自己的，如Alpaca你可以訓練特化的instruction tuning。更適合自己的用途。