В блоге OpenAI рассказали, что нейросети — одно из изобретений человека, поведение которого сложно предсказать. К примеру, автомобильные инженеры могут изучить строение машины и сделать выводы о его безопасности и практичности. Разработчики нейросетей лишены этой возможности, так как большинство процессов проходят скрыто и без явной взаимосвязи. Это значительно усложняет интерпретация сгенерированных ответов и мешает оценить уровень безопасности.

Для решения этой проблемы исследователи OpenAI разработали новый автокодеровщик, обученный на активациях GPT2-small. Команде инженеров удалось выявить некоторые закономерности, которые значительно повысить надёжность и управляемость языковой модели. Несмотря на это, автокодировщик всё равно ограничен:

• некоторые функции всё ещё сложно интерпретировать, и часто встречаются ложные срабатывания;
• эффективность для GPT-4 остаётся низкой, а для приемлемого результата надо продолжать обучать автокодировщик;
• удаётся обнаружить закономерности, но ещё рано говорить о полном понимании того, как формируется итоговый ответ.

Компания опубликовала исследование и поделилась визуализаций обнаруженных функций. Код автокодировщика доступен на GitHub, а ниже представлен пример использования:

import torch

import blobfile as bf

import transformer_lens

import sparse_autoencoder



# Extract neuron activations with transformer_lens

model = transformer_lens.HookedTransformer.from_pretrained("gpt2", center_writing_weights=False)

device = next(model.parameters()).device



prompt = "This is an example of a prompt that"

tokens = model.to_tokens(prompt)  # (1, n_tokens)

with torch.no_grad():

    logits, activation_cache = model.run_with_cache(tokens, remove_batch_dim=True)



layer_index = 6

location = "resid_post_mlp"



transformer_lens_loc = {

    "mlp_post_act": f"blocks.{layer_index}.mlp.hook_post",

    "resid_delta_attn": f"blocks.{layer_index}.hook_attn_out",

    "resid_post_attn": f"blocks.{layer_index}.hook_resid_mid",

    "resid_delta_mlp": f"blocks.{layer_index}.hook_mlp_out",

    "resid_post_mlp": f"blocks.{layer_index}.hook_resid_post",

}[location]



with bf.BlobFile(sparse_autoencoder.paths.v5_32k(location, layer_index), mode="rb") as f:

    state_dict = torch.load(f)

    autoencoder = sparse_autoencoder.Autoencoder.from_state_dict(state_dict)

    autoencoder.to(device)



input_tensor = activation_cache[transformer_lens_loc]



input_tensor_ln = input_tensor



with torch.no_grad():

    latent_activations, info = autoencoder.encode(input_tensor_ln)

    reconstructed_activations = autoencoder.decode(latent_activations, info)



normalized_mse = (reconstructed_activations - input_tensor).pow(2).sum(dim=1) / (input_tensor).pow(2).sum(dim=1)

print(location, normalized_mse)