Pre-training

Grundtræningen der gør store AI-modeller mulige

Hvad er pre-training?

Pre-training er den første fase i udviklingen af en stor AI-model, hvor modellen trænes på store mængder generiske data for at lære generelle mønstre. Senere kan den finjusteres til specifikke formål via fine-tuning.

Hvorfor er pre-training relevant?

Pre-training gør det muligt at bruge én model til mange formål, hvilket er grundlaget for fx LLM’er og generativ AI. Det gør AI både mere fleksibelt og mere tilgængeligt.

Relaterede begreber

Fine-tuning
Large Language Model
Deep Learning