The Falcon 40B is a large-scale artificial intelligence model developed by the Technology Innovation Institute (TII) in Abu Dhabi, United Arab Emirates1. It is a foundational large language model (LLM) with 40 billion parameters and trained on one trillion tokens1. Falcon 40B is the world’s top-ranked open-source AI model on the Hugging Face leaderboard for large language models2. The model is available open source for research and commercial use, making it accessible to researchers, developers, and commercial users1.

The implications of Falcon 40B for large language models are significant. It matches the performance of other high-performing LLMs and is cost-effective3. The model is English-centric but also includes German, Spanish, French, Italian, Portuguese, Polish, Dutch, Romanian, Czech, and Swedish4. Falcon 40B’s open-source nature and royalty-free deployment can empower public and private sector entities with efficiencies such as faster project execution and reduced costs5.

For LLM startups, Falcon 40B offers an open-source alternative to proprietary models like OpenAI’s GPT-34. The model’s creator, TII, is offering the most exceptional project ideas access to training compute power as a form of investment2. This enables developers to tackle more complex and resource-intensive use cases with increased efficiency, productivity, and performance, driving innovation and expanding the possibilities for LLM startups2.

For big tech companies, Falcon 40B presents both opportunities and challenges. On one hand, the open-source nature of the model can foster collaboration and innovation, allowing big tech companies to leverage Falcon 40B’s capabilities for various applications. On the other hand, the model’s open-source availability may increase competition, as more startups and developers gain access to advanced LLM capabilities, potentially disrupting the market dominance of proprietary models from big tech companies.

Overall, Falcon 40B represents a significant milestone in the AI and LLM landscape, promoting open-source development, fostering innovation, and offering new opportunities for startups and big tech companies alike6.
https://twitter.com/TIIuae/status/1663911042559234051

https://twitter.com/TIIuae/status/1663911042559234051

The Falcon 40B is a large-scale artificial intelligence model developed by the Technology Innovation Institute (TII) in Abu Dhabi, United Arab Emirates1. It is a foundational large language model (LLM) with 40 billion parameters and trained on one trillion tokens1. Falcon 40B is the world’s top-ranked open-source AI model on the Hugging Face leaderboard for large language models2. The model is available open source for research and commercial use, making it accessible to researchers, developers, and commercial users1.

The implications of Falcon 40B for large language models are significant. It matches the performance of other high-performing LLMs and is cost-effective3. The model is English-centric but also includes German, Spanish, French, Italian, Portuguese, Polish, Dutch, Romanian, Czech, and Swedish4. Falcon 40B’s open-source nature and royalty-free deployment can empower public and private sector entities with efficiencies such as faster project execution and reduced costs5.

For LLM startups, Falcon 40B offers an open-source alternative to proprietary models like OpenAI’s GPT-34. The model’s creator, TII, is offering the most exceptional project ideas access to training compute power as a form of investment2. This enables developers to tackle more complex and resource-intensive use cases with increased efficiency, productivity, and performance, driving innovation and expanding the possibilities for LLM startups2.

For big tech companies, Falcon 40B presents both opportunities and challenges. On one hand, the open-source nature of the model can foster collaboration and innovation, allowing big tech companies to leverage Falcon 40B’s capabilities for various applications. On the other hand, the model’s open-source availability may increase competition, as more startups and developers gain access to advanced LLM capabilities, potentially disrupting the market dominance of proprietary models from big tech companies.

Overall, Falcon 40B represents a significant milestone in the AI and LLM landscape, promoting open-source development, fostering innovation, and offering new opportunities for startups and big tech companies alike6.

Comparisons with other models.

When comparing Falcon 40B to other large language models like GPT-3, ChatGPT, GPT-4, and LLaMA, Falcon 40B demonstrates impressive performance and capabilities. It outperforms other open-source models such as LLaMA, StableLM, RedPajama, and MPT3. Despite its power, Falcon 40B uses only 75% of GPT-3's training compute, 40% of Chinchilla’s, and 80% of PaLM-62B’s4. Falcon 40B is smaller than LLaMA (65 billion parameters) but has better performance on the OpenLLM leaderboard5. The model’s architecture is optimized for inference, with FlashAttention and multiquery5. It is available open source for research and commercial use, making it accessible to researchers, developers, and commercial users1.

About Flash attention

FlashAttention is a technique that speeds up the attention mechanism in the model, while multiquery attention allows the model to generate multiple queries for each token, thus better representing the token’s relationships with other tokens.

FlashAttention is an algorithm that reorders the attention computation and leverages classical techniques, such as tiling and recomputation, to significantly speed up the attention mechanism and reduce memory usage from quadratic to linear in sequence length1. It is designed to address the compute and memory bottleneck in the attention layer of transformer models, particularly when dealing with long sequences1.

Could one Language Learning Model handle all programming languages? Or should we tailor a model for each? What's your take? #LLM #ProgrammingLanguages

https://www.linkedin.com/posts/mateizaharia_introducing-english-as-the-new-programming-activity-7080242815120637952-bIY0?utm_source=share&utm_medium=member_ios

LLM에 대한 새로운 유형의 adversarial attack 방식이 발견되어 타임라인이 난리가 났네요. arXiv에도 공개된 논문인데, 논문 실험자에 의해 왠만한 LLM들을 모두 jailbreak이 성공했던 것 같습니다. 심지어는 블랙박스 모델을 가진 LLM들에서도... 물론 지금은 다 막혔겠지만.

LLM adversarial attack에 관심있는 분들은 GitHub에 공개한 코드를 이용해 한번 살펴보시는 것도 좋을 듯 싶네요.

제목: Universal and Transferable Adversarial Attacks on Aligned Language Models

요약:
"즉시 사용 가능한" 대규모 언어 모델은 불쾌한 콘텐츠를 대량으로 생성할 수 있기 때문에 최근의 작업은 원치 않는 콘텐츠 생성을 방지하기 위해 이러한 모델을 조정하는 데 중점을 두고 있습니다. LLM에 대한 소위 '탈옥'이라고 불리는 이러한 조치를 우회하는 데 어느 정도 성공했지만, 이러한 공격은 인간의 창의력을 크게 필요로 하며 실제로는 취약합니다.
이 논문에서는 정렬된 언어 모델이 불쾌한 동작을 생성하도록 하는 간단하고 효과적인 공격 방법을 제안합니다. 특히, 이 접근 방식은 불쾌한 콘텐츠를 생성하는 LLM에 대한 광범위한 쿼리에 붙이면 모델이 답변을 거부하지 않고 긍정적인 응답을 생성할 확률을 극대화하는 접미사를 찾는 것을 목표로 합니다. 그러나 수동 엔지니어링에 의존하는 대신, 우리의 접근 방식은 욕심 기반 검색 기법과 그라데이션 기반 검색 기법의 조합을 통해 이러한 적대적인 접미사를 자동으로 생성하며, 과거의 자동 프롬프트 생성 방법보다 개선되었습니다.
놀랍게도, 저희 접근 방식으로 생성된 적대적 프롬프트는 공개적으로 공개된 블랙박스 LLM을 포함하여 상당히 전이 가능하다는 사실을 발견했습니다. 특히, 여러 프롬프트(즉, 다양한 유형의 불쾌한 콘텐츠를 요청하는 쿼리)와 여러 모델(저희의 경우 Vicuna-7B 및 13B)에 대해 적대적 공격 접미사를 학습시켰습니다. 이 과정에서 생성된 공격 접미사는 ChatGPT, Bard, Claude의 퍼블릭 인터페이스는 물론 LLaMA-2-Chat, Pythia, Falcon 등의 오픈 소스 LLM에 불쾌감을 주는 콘텐츠를 유도할 수 있습니다. 이 작업은 전체적으로 정렬된 언어 모델에 대한 적대적 공격의 최신 기술을 크게 발전시켰으며, 이러한 시스템이 불쾌한 정보를 생성하는 것을 어떻게 방지할 수 있는지에 대한 중요한 질문을 제기합니다. 코드는 다음 http URL에서 확인할 수 있습니다.

주요 통찰과 교훈:
- 대규모 언어 모델은 불쾌감을 주는 콘텐츠를 방지하도록 정렬된 경우에도 여전히 적대적 공격에 취약할 수 있습니다.
- 제안하는 공격 방식은 수동 엔지니어링에 의존하지 않고 자동으로 적대적 접미사를 생성하므로 이전 방식보다 더 효율적이고 효과적입니다.
- 이 접근법에 의해 생성된 적대적 프롬프트는 전송 가능한 것으로 나타났습니다. 즉, 블랙박스 언어 모델에도 영향을 미쳐 더 위험하고 방어하기 어렵게 만들 수 있습니다.

#LLM #adversarialattack

arXiv: https://arxiv.org/abs/2307.15043
PDF: https://arxiv.org/pdf/2307.15043.pdf
arXiv-vanity: https://www.arxiv-vanity.com/papers/2307.15043
Paper page: https://huggingface.co/papers/2307.15043
Papers with code: https://paperswithcode.com/paper/universal-and-transferable-adversarial
Github: https://github.com/llm-attacks/llm-attacks

인간 수준의 유창함으로 자연어 지시를 따르는 대규모 언어 모델(LLM)의 능력은 의료 분야에서 관리 부담을 줄이고 치료의 질을 개선할 수 있는 많은 기회를 제시합니다. 하지만 의료 분야의 실제 텍스트 생성 작업에서 LLM을 평가하는 것은 여전히 어려운 과제입니다. 기존의 전자 건강 기록(EHR) 데이터에 대한 질의응답 데이터 세트는 임상의가 경험하는 복잡한 정보 요구와 문서화 부담을 포착하지 못합니다. 이러한 과제를 해결하기 위해, 저희는 EHR 데이터에 대한 983개의 자연어 지침으로 구성된 벤치마크 데이터 세트인 MedAlign을 소개합니다. MedAlign은 15명의 임상의(7개 전문 분야)에 의해 큐레이션되었으며, 303개의 지침에 대한 임상의가 작성한 참조 응답을 포함하고, 지침-응답 쌍의 근거를 위한 276개의 종단적 EHR을 제공합니다. MedAlign을 사용하여 6개의 일반 도메인 LLM을 평가하고 임상의가 각 LLM 응답의 정확성과 품질에 순위를 매기도록 했습니다. 그 결과 35%(GPT-4)에서 68%(MPT-7B-Instruct)에 이르는 높은 오류율과 GPT-4의 경우 컨텍스트 길이가 32k에서 2k로 이동하면서 8.3%의 정확도 저하를 발견했습니다. 마지막으로, 사람의 검토 없이 LLM의 순위를 매기는 방법으로 임상의 순위와 자동화된 자연어 생성 메트릭 간의 상관관계를 보고합니다. 연구 데이터 사용 계약에 따라 MedAlign을 제공하여 임상의의 필요와 선호도에 맞는 작업에 대한 LLM 평가를 가능하게 합니다.

Lots of hype around #LLMs in healthcare. What do clinicians really want from an #LLM? We asked them! Introducing #MedAlign, the first dataset of clinician-generated instructions + responses for EHRs 🏥🤖

📄Paper: arxiv.org/abs/2308.14089
🌐Website: medalign.stanford.edu